Für Christian Hagen, Senior IT Architekt bei ITGAIN, ist die Sache klar: Wer ein Haus baut, braucht einen Architekten. Geht es um ein sehr großes Haus, arbeiten viele Menschen zeitgleich und nacheinander. Das funktioniert nur mit einem konkreten Bebauungsplan und definierten Standards. Das heißt: Alle Maurer ziehen Mauern auf dieselbe Weise hoch, Türen haben die gleichen Maße und so weiter. Andernfalls wird es schnell chaotisch. Dann laufen Besucher plötzlich mit dem Kopf gegen eine Tür, obwohl sie die vorherige noch problemlos passieren konnten.
Das Ziel: effektive und effiziente Datenintegration
Wer ein Data Warehouse(DWH) baut, steht vor der gleichen Herausforderung. Hier sollten alle Entwickler nach denselben Standards arbeiten. Denn ist die Implementierung zu heterogen, sind Erweiterungen nur schwer umsetzbar. Die Wartung wird immer aufwändiger und DWH-Prozesse verlangsamen sich. Kurz: die Leistungsfähigkeit und Flexibilität des DWH entsprechen nicht den Anforderungen und das bei zu hohen Kosten für Entwicklung und Wartung.
Sobald ein DWH Projekt den Pilotstatus verlässt und mehr und mehr Systeme angebunden werden, muss das Team Architekturstandards definieren, wie es unsere ETL-Frameworks tun.“
Christian Hagen, Senior IT Architect
Diese Standards drehen sich dann nicht um Mauern und Türen, sondern legen fest, in welchen definierten Schritten Daten aus Quellsystemen in das DWH geladen werden und wie diese Schritte zu implementieren sind. Die Zusammenfassung dieser Standards in einem Datenintegrations-Framework, kurz ETL Framework, beschreibt für die Projektteams einen wiederverwendbaren Handlungsleitfaden.
Für die Anwender des DWH bedeutet dies eine erhebliche Verbesserung in punkto Tempo, Effizienz und Kosten.
Herr Hagen, bevor es jetzt hoch technologisch wird: Könnten Sie das Thema ETL-Framework anhand eines Kundenbeispiels mit Alltagsleben füllen?
Hagen: Natürlich. Unser Kunde aus der Versicherungsbranche hatte über Jahre hinweg eine umfangreiche Informationslandschaft aufgebaut. Die Projektteams hatten sich allenfalls auf informellem Wege über Konzeption und Implementierung ausgetauscht. Am Anfang funktionierten diese Anwendungen einigermaßen. Mit dem zunehmenden Bedarf an übergreifenden Auswertungen aus Beitrags-, Schaden- und Bestandssystemen passten die Daten im Berichtswesen nicht mehr zusammen und durch die fortwährende Weiterentwicklung wurden die Prozesse immer komplexer und aufwändiger zu pflegen.
Die Entwickler hatten manchmal sinnvolle Schritte beim Laden in das DWH unterlassen oder häufig für eine Aufgabe das Rad neu erfunden. Es fehlte schlicht ein Ordnungsrahmen, d.h. ein Architekturkonzept, an dem sich die Entwickler bedienen können.
Was Sie für die Versicherung gemacht haben, war aber nicht das Warehouse, sondern das ETL-Framework, richtig?
Hagen: Genau. Das ETL-Framework ist ein Hilfsmittel für Kunden, die ein Warehouse-Projekt starten oder eine Renovierung durchführen. Es macht Vorschläge für die nötigen Standards. Um im Bild zu bleiben: Wir geben ihm die Mittel zum Hausbau an die Hand. Dieses Framework besteht aus einzelnen Paketen. Neben den Konzepten beinhaltet es auch die Implementierung mittels Abläufen für den IBM Information Server. Datenintegration ist eine Kernkompetenz von ITGAIN.
Wie ist es dann zur Entwicklung des ETL-Frameworks gekommen und wie sind Sie vorgegangen?
Hagen: Nach einem von uns durchgeführten Audit eines DWH Projekts haben wir vereinbart, dass wir einen Vorschlag zur Konzeption eines kundenspezifischen Frameworks erarbeiten. Nach der Präsentation erhielten wir den Auftrag für Umsetzung und Einführung. In dem Konzept haben wir architektonische Grundsätze und Lösungen für wiederkehrende Aufgaben im Datenintegrationsprozess beschrieben. Weiterhin beinhaltet es auch die Implementierung der Abläufe auf Basis des IBM Information Server (DataStage). Die Entwickler können wiederverwendbare Module z.B. für Harmonisierung, Historisierung, Protokollierung einsetzen.
Mit der Anwendung der Framework Module können die Entwickler auf getestete funktionierende Module zurückgreifen und zugleich ihre Arbeit schneller erledigen. DataWare-Hausbau in hoher Qualität.
Zum Abschluss Herr Hagen: was waren aus Ihrer Sicht die Erfolgsfaktoren bei der Entwicklung des ETL-Frameworks?
Hagen: Wir haben vorhandene Lösungen des Kunden analysiert und auf Weiterverwendung geprüft. Dann haben wir unsere langjährige ITGAIN Erfahrung eingebracht und ein Best-Practice-Konzept aus beiden Welten entworfen. Das haben wir mit dem Auftraggeber und einigen seiner Entwickler intensiv besprochen. Nach Fertigstellung haben wir alle Entwickler in einem Training eingewiesen und in weiteren Projekten bei Bedarf ein Coaching durchgeführt. Sehr hilfreich war die sofortige Anwendung in neuen und laufenden Projekten. Der modulare Aufbau, das Funktionieren des Frameworks und die Vorteile haben sich schnell bewährt. Mit dem ETL-Framework haben sowohl der Kunde als auch ITGAIN ein Basisgerüst zur Verfügung, das jeder bei Bedarf erweitern und anpassen kann. So wird ITGAIN das Framework auch in der Produktentwicklung für seinen neuen DataStage-Generator einsetzen und weiterentwickeln.
Eine Lösung mit echtem Mehrwert
Auch wenn es hier konkret um eine Versicherung geht, so haben die ETL-Frameworks von ITGAIN einen besonderen Vorteil: Es sind ganzheitliche, generalisierbare Lösungen, die für jeden Kunden passgenau zugeschnitten werden können. Die Vorteile für Anwender liegen auf der Hand: bessere Wartbarkeit, transparente Integrationsprozesse, effizienter Projektablauf. Analog dazu sinken Kosten, Zeitaufwand und Projektrisiko. Und wie bei jedem vernünftig gebauten Haus, ist natürlich auch hier jederzeit eine Erweiterung möglich.