SAP IQ
Inhaltsverzeichnis
Was ist SAP IQ?
IQ ist eine spaltenbasierte relationale Datenbank-Software von SAP, die im Petabyte-Bereich arbeitet. Damit sind Analysen im Zusammenhang mit Big Data möglich. Der Einsatz erfolgt zum Beispiel im Business Intelligence, im Data Warehousing und für Data Marts. Die Software ist optimiert auf Geschwindigkeit, Sicherheit und den Umgang mit extremen Datenmengen großer Unternehmen. Im Data Warehouse finden sich verschiedenste Daten wie strukturierte, halbstrukturierte und völlig unstrukturierte Daten. Diese zu analysieren, ist ab einer gewissen Größe der Datenbestände besonders herausfordernd. IQ von SAP soll es möglich machen, diese Analysen unabhängig von der Datenmenge effizienter zu machen.
Features
IQ von SAP bietet die Voraussetzungen für den Umgang mit großen Datenmengen in einem Umfeld, das eine hohe Anzahl an zeitgleichen Datenbankanfrage erwartet und Ac-hoc-Auswertungen bereitstellen soll. Zu den Produktmerkmalen gehören auch die geringen laufenden Kosten des Systems dank hoher Effizienz und geringem Speicherbedarf. Zudem kann der Multiplex genannte Server Cluster auch mit Serverausfällen und Störungen im Netzwerk umgehen. Damit profitiert der Anwender von einer hohen Verfügbarkeit.
Mit IQ lassen sich die Entscheidungsfindung in den Unternehmen unterstützen, Geschäftsanalysen vornehmen, das Data Warehouse verwalten und Data Mart Implementierungen umsetzen. Data Marts bieten dabei als subjektorientierte Datenbanken den Vorteil, dass sie die Anforderungen bestimmter Nutzergruppen präziser erfüllen.
Loading Engine
In Hinblick auf die Features von IQ gilt es auch die sogenannte Loading Engine zu betrachten. Die Loading Engine ist für das Laden der Daten verantwortlich und greift hierfür auf verschiedene Verfahren zurück. Zu den Vorteilen gehört es, dass ein inkrementelles Batching ebenso möglich ist wie viele gleichzeitige Anfragen oder Bulk-Anfragen. Das Laden der Daten aus Datenbanken oder auch aus Dateien erfolgt mit einer hohen Parallelität . Das erlaubt es, die Mehrkern-Prozessoren der Server bestmöglich zu nutzen und die Bildung von Flaschenhälsen zu vermeiden. Es ist diese moderne Loading Engine, die maßgeblich für die hohe Leistungsfähigkeit der IQ-Datenbanken verantwortlich ist.
Multiplex
Ein weiteres wichtiges Feature von IQ ist Mutiplex. Unter einem Multiplex ist dabei ein größerer Cluster von IQ Servern zu verstehen, die in einem Gitter angeordnet sind. SAP verwendet diese Struktur, um eine hohe Skalierbarkeit bei gleichzeitigen Datenbankanfragen zu erreichen. Eine hohe Skalierbarkeit ist auch dann gegeben, wenn die Anzahl der Anfragen nicht besonders groß ist, ihre Komplexität jedoch erheblich ausfällt. Multiplex baut dabei auf dem oben beschriebenen Shared-Everything-Ansatz auf.
Multiplex verfügt weiterhin über einen sogenannten Koordinator-Knotenpunkt, der für die Verwaltung des Datenbankkatalogs verantwortlich ist und eine Verteilung über alle Verarbeitungseinheiten im Rechnerverbund ermöglicht. Der Koordinator-Knoten hat dabei immer Lese- und Schreibrechte. Andere Knoten im Netzwerk können Berechtigungen zum Beispiel nur für das Lesen erhalten. Das ist nützlich, wenn nicht jeder Nutzer in die Datenbank schreiben können muss.
Multiplex bietet in der Praxis viele Vorteile wie zum Beispiel eine effiziente Lastenverteilung. Diese wird durch eine Erhöhung oder Verringerung der Parallelität der Verarbeitung in Abhängigkeit von der Serveraktivität erzielt.
In-memory data fabric
SAP IQ Schaubild. Quelle: SAP
Die In-Memory Data Fabric von SAP stellt einen innovativen Ansatz dar, der die Datenverwaltung effizienter gestaltet. Hierbei wird das Data Warehousing in eine In-Memory Data Fabric integriert, um Prozesse zu vereinfachen und zu beschleunigen.
Die Architektur der In-Memory Data Fabric von SAP basiert auf der Kombination von SAP IQ und SAP HANA. Vor dem Hintergrund von Big Data arbeitet SAP IQ in Verbindung mit SAP HANA als verteilte In-Memory-Analyseplattform. Drei zentrale Anwendungen und Anwendungsfälle nutzen die Stärken von SAP IQ im Hinblick auf Skalierbarkeit und Leistung als Enterprise Data Warehouse (EDW) und Big Data-Verarbeitung. Gleichzeitig profitieren sie von der In-Memory-Geschwindigkeit von SAP HANA für operationale Berichterstattung.
In einem Szenario dient SAP IQ als Near-line Service (NLS) für SAP HANA. Hierbei fließen Daten aus dem SAP Enterprise Resource Planning (ERP) in SAP HANA ein, das als operationales Data Store für sofortige Analysen fungiert. Nach der Analyse werden die Daten über Near-line Storage-Mechanismen in SAP IQ integriert. Dies ermöglicht SAP IQ, als EDW zu fungieren und Daten aus verschiedenen traditionellen Quellen zu empfangen, einschließlich OLTP-Datenbanken und Dateisystemen.
Ein weiterer Anwendungsfall liegt darin, SAP IQ als Enterprise Data Warehouse (EDW) einzusetzen und gleichzeitig von HANA’s In-Memory-Technologie zu profitieren. Dies ist besonders nützlich für Planungs- und Analyseberichte, bei denen gleichzeitige OLTP-Verarbeitung erforderlich ist. In diesem Szenario fließen Daten von SAP IQ zu SAP HANA. Zur besseren Übersichtlichkeit über beide Plattformen kann SAP BusinessObjects BI genutzt werden.
SAP IQ Architektur
Die gesamte Architektur von IQ orientiert sich an den Datenbankspalten. Das hat in der Praxis eine Reihe von Vorteilen. Ein Zugriff ist nur auf solche Objekte erforderlich, die sich in der Spalte mit den für die Suchanfrage relevanten Daten befinden. Beim traditionellen Zeilen-basierten Ansatz muss hingegen immer die gesamte Tabelle geladen werden. IQ verwendet dabei einen n-Bitindex, um Zugriff auf die Daten zu erhalten. Über den Index erfolgt der Zugriff auf die Daten und Werte müssen nur einmal gespeichert werden, statt einzeln für jede Zeile. Der auf Spalten basierte Speicher ermöglicht zudem eine laufende Kompression der Daten. Diese Architektur bringt dadurch erhebliche Leistungsvorteile mit sich.
Variable Zellengröße
Weiterhin setzt sich jede Seite in der Datenbank aus Zellen variabler Größe zusammen. Diese Zellen sind dicht gepackt und erlauben das effiziente Speichern der Daten. Der Ansatz ist von Zellen fixer Größe zu unterscheiden. Dieser ist gut geeignet für Daten, die alle den gleichen Typ aufweisen und eine vergleichbare Größe besitzen. IQ geht jedoch davon aus, dass die Daten unterschiedliche Typen mit stark voneinander abweichenden Größen sind. Hier ist ein Ansatz mit variabler Zellengröße besser geeignet, denn damit lassen sich Speicher mit höherer Effizienz erstellen und es wird weniger Speicherplatz vergeudet. Zudem können in einer einzelnen Spalte verschiedene Datentypen gespeichert werden. Wie effizient die Datenbank tatsächlich arbeitet, hängt auch davon ab, wie hoch die Komprimierung ausfällt. IQ setzt hierfür zum Beispiel auf den modernen Lempel-Ziv-Welch-Algorithmus.
Parallelität
Weiterhin setzt SAP bei der Architektur von IQ stark auf Parallelität. Prozesse können also nebeneinander oder gleichzeitig statt hintereinander ausgeführt werden. Bei der Massenparallelberechnung (MPP) werden verteilte Prozesse in Bezug auf Suchanfragen unterstützt. Auch hier geht es wieder um eine möglichst hohe Effizienz bei der Bearbeitung der Datenbankanfragen. Dabei ist es wichtig, die Unterscheidung von Shared-Nothing- und Shared-Everything-Architekturen zu verstehen.
Shared-Nothing-Architektur
Bei einer Shared Nothing Architektur verfügen die einzelnen Knoten über eigene Ressourcen wie etwa Prozessorleistung, Speicherplatz und Arbeitsspeicher. Diese und arbeiten autonom. Gerade bei der parallelen Verarbeitung von Daten bietet das Leistungsvorteile. Wegen der hohen Skalierbarkeit ist diese Architektur bei Webanwendungen oder parallelen Datenbanksystemen sehr beliebt. Tatsächlich basieren die meisten MPP Frameworks deshalb auf einer Shared-Nothing-Architektur.
Shared-Everything-Architektur
IQ setzt jedoch hiervon abweichend auf eine Shared-Everything-Architektur. Bei dieser Architektur werden der Hauptspeicher und das Plattensubsystem gemeinsam von Prozessoren genutzt. Daher ist auch von einer Shared-Disk-Datenbank die Rede. Der Shared-Disk-Ansatz ist neueren Datums und erlaubt jedem Knotenpunkt den Zugriff auf alle Daten. Jede Maschine kann damit Daten lesen und schreiben wie sie es wünscht. Eine solche Architektur ist dadurch deutlich flexibler, gleichzeitig ist sie aber auch anspruchsvoller in der Umsetzung.
Gerade bei der Verwendung von IQ in großen Unternehmen mit einer großen Anzahl an Nutzern ist eine Shared-Everything-Architektur vorteilhaft, weil hier möglichst viele Nutzer gleichzeitig Zugriff auf die Daten haben. So lassen sich auch Arbeitsabläufe im Unternehmen beschleunigen, an denen eine Vielzahl an Mitarbeitern beteiligt ist..
Komponenten
Die Komponenten von IQ lassen sich in clientseitige und serverseitige Komponenten unterscheiden. Die Client Komponenten sind für die Authentifizierung, für die Verbindung zur Datenbank und für das Parsing der SQL Befehle zuständig. Die Kernfunktionen finden sich dann in den serverseitigen Komponenten. Dazu gehören zum Beispiel die spaltenweise Speicherung der Daten oder die Loading Engine sowie die Engine zur Entgegennahme der Anfragen oder die Funktionen für die Verschlüsselung der Datenbank. Auch die Funktionen für die Skalierung und Autorisation sind hier zu finden. Dabei gilt zu beachten, dass alle serverseitigen Komponenten in der Cloud untergebracht sind.
IQ Cockpit
Zu den wichtigsten Komponenten von IQ gehört auch das IQ Cockpit. Hierbei handelt es sich um eine grafische Benutzeroberfläche, mit der sich IQ verwalten lässt. Auch das Monitoring findet hier statt. Das Cockpit lässt sich in hohem Maße personalisieren und damit an die Anforderungen des jeweiligen Anwenders anpassen. Das IQ Cockpit wird dabei gemeinsam mit dem IQ Server installiert. Es nimmt Anfragen von den Web Clients entgegen und leitet diese Anfragen dann an die IQ Server weiter.
Mit dem Cockpit lässt sich die gesamte Datenbankverwaltung durchführen. Für den Einsatz in den Unternehmen ist es zudem immer relevant zu wissen, welche Mitarbeiter die Ressourcen in welchem Umfang nutzen. Das gilt natürlich auch in Bezug auf die Nutzung von IQ. Das Cockpit bietet die Tools, mit denen sich die Nutzung von IQ jederzeit überwachen lässt. Es ist sofort erkennbar, wer welche Ressourcen in welchem Ausmaß strapaziert.
Möglichkeiten
Die mit IQ von SAP verbundenen Möglichkeiten für den Einsatz in den Unternehmen sind besonders vielfältig. Dazu gehört, dass sich für alle Datentypen einheitliche Datenspeicher erstellen lassen. Damit ist lediglich ein einzelnes Analyse-Framework erforderlich, um strukturierte und unstrukturierte Daten gemeinsam untersuchen zu können. Der Anwender muss sich also keine Gedanken mehr darüber machen, in welcher Form die Daten vorliegen.
Zudem bietet IQ vielfältige Möglichkeiten der Verschlüsselung und damit ein hohes Sicherheitsniveau. Es lassen sich zum Beispiel ganze Datenbanken oder einzelne Spalten verschlüsseln. Eine Authentifizierung erfolgt per LDAP oder Kerberos.
Dank IQ kann der Nutzer schnell Antworten auch auf komplexe Datenbankanfragen erhalten. Die Anfragen werden auch dann umfassend und schnell beantwortet, wenn sie sich auf Datensätze im Petabyte Bereich beziehen. Weiterhin unterstützt IQ die spaltenweise Komprimierung von Daten über verschiedene Algorithmen.
Allgemein lassen sich mit IQ Strukturen vereinfachen. Für Daten mit variabler Größe lassen sich die Datenbankseiten Formate optimieren. Das trägt ebenfalls zu einer schnelleren Bearbeitung der Datenbankanfragen bei. Zudem sind Verbesserungen beim Lesen und Schreiben in der Datenbank möglich. Alle das sorgt für eine Optimierung der Leistung und damit für eine Reduzierung von Kosten.
Vor- und Nachteile
Mit IQ erhält der Anwender eine kosteneffiziente Data-Warehouse-Lösung im Petabyte-Bereich. Zu den entscheidenden Vorteilen von IQ gehören die Geschwindigkeit, mit der Datenbankanfragen bearbeitet werden. Auch der geringe Speicherbedarf der Daten im Datenbanksystem und die damit einhergehende hohe Wirtschaftlichkeit sowie die hohe Flexibilität des Systems sind große Benefits. Außerdem profitieren Unternehmen von der Analyse unstrukturierter Daten. Nicht zuletzt sind auch die Text Indexierung sowie verschiedene Suchfunktionen als Vorteile zu nennen. Zudem können die Anwender ihre eigenen Funktionen schreiben und diese in die SQL Engine einbinden. Damit lassen sich die Suchanfragen weiter vereinfachen und effizienter gestalten.
Darüber hinaus ist es mit IQ möglich, die Daten einem noch größeren Kreis von Nutzern im Unternehmen zugänglich zu machen, denn Skalierungsbegrenzungen lassen sich mit IQ umgehen. Der Umgang mit Big Data wird damit vereinfacht oder überhaupt erst möglich gemacht.
Als Nachteil ergibt sich bei dieser Lösung die geringe Eignung für kleinere bis mittlere Unternehmen. Kleine Unternehmen generieren häufig nicht die Datenmengen, die eine Analyse durch IQ erforderlich machen würden. Diese Unternehmen müssen dann auf andere Lösungen ausweichen. Bei mittelgroßen Unternehmen können zwar ebenfalls erhebliche Datenmengen anfallen. Hier stellt sich jedoch die Frage, ob die Kosten für IQ für ein Unternehmen mittlerer Größe angemessen sind.
Einsatz SAP IQ
IQ richtet sich als Datenbanksystem klar an große Unternehmen. Je größer die Datenmengen sind, die im täglichen Geschäft anfallen, desto interessanter ist der Einsatz von IQ. Für Unternehmenskunden ist hier die immense Skalierbarkeit das entscheidende Argument. Doch auch mittelständische Unternehmen können mit ihrem Data Warehouse schnell in einen Bereich gelangen, in dem IQ sinnvoll einsetzbar ist.
SAP bietet IQ als Option in einem Paket für Big Data Intelligence an. Dazu gehören auch SAP HANA und der SAP Event Stream Processor sowie Apache Hadoop. Alle diese Technologien bilden gemeinsam eine integrierte Plattform, mit der sich alle geschäftskritischen Daten analysieren lassen. Dank IQ ist das dann auch im Petabyte-Bereich durchführbar.
Fazit
Mit IQ bietet SAP seinen Geschäftskunden eine in hohem Maße skalierbare Lösung für die Analyse von besonders großen Datenmengen an. Hier kommen eine Reihe moderner Technologien zum Einsatz, um riesige Datenbestände im Data Warehouse handhabbar zu machen. Wie immer gilt bei SAP, dass der Einsatz der Software im Verbund mit anderen Produkten des Softwareunternehmens erfolgt. Dazu gehört insbesondere SAP HANA als zugrundeliegendes relationales Datenbankmanagementsystem. Wer sich mit ständig wachsenden Datenbeständen in seinem Unternehmen konfrontiert sieht, wird in IQ von SAP viele Vorteile erkennen können.
FAQ
Was ist SAP IQ?
SAP IQ ist ein Datenbank Softwaresystem der SAP für den Big Data Bereich. Gemeinsam mit dem Data Warehouse bietet es dabei eine Reihe von Vorteilen für mittelständische und große Unternehmen, die mit hohen Datenmengen arbeiten.
Was sind die Vorteile von SAP IQ?
SAP IQ macht große Datenbestände handhabbar und hilft Unternehmen dadurch, Prozesse zu optimieren. Konkrete Vorteile sind beispielsweise Text Indexierungen und Suchfunktionen, aber auch die Skalierbarkeit und hohe Geschwindigkeit. Auf lange Sicht sparen Unternehmen mit IQ demnach viele Kosten ein.
