Tests im DWH- und BI-Umfeld laufen üblicherweise datenorientiert. Natürlich müssen auch andere Aspekte wie Performance, Darstellung, Zugriffsschutz und vieles mehr penibel geprüft und qualitätsgesichert werden.

Damit die Testautomatisierung gelingt, müssen einige Faktoren zusammenspielen:

  • ein interdisziplinäres Team aus Vertretern der Fachseite, Anforderern und Testern mit guten SQL- und Skript-Skills und dem nötigen fachlichen Wissen
  • frühzeitige Tests mit produktionsnahen – pseudonymisierten und/oder anonymisierten – Datenbeständen. Diese sollten – ebenfalls möglichst automatisch – entsprechend den Projektzielen aufbereitet werden (etwa mit Fokus auf bestimme Produkte, Kundengruppen etc.)
  • die Einführung von Standards: Wie werden verskriptete Plausibilitätschecks abgelegt und aufgerufen? Wie werden Testprotokolle automatisch erzeugt und konsolidiert?
  • die regelmäßige Ausführung aller vorgesehenen Szenarien in vollständigen Jobnetzen – und zwar nach jedem Defekt-Fixing (zum Beispiel jede Nacht). Außerdem sollten Sie die erzeugten Werte direkt nach Verarbeitung erneut auf mögliche Abweichungen absuchen
  • zwei oder mehrere Testumgebungen, die gleichzeitig betrieben und beladen werden, damit direkt nach dem Bugfixing die Vorher-/Nachher-Stände verglichen werden können
  • marktübliche Tools oder Bordmittel des ETL-Werkzeugs und der Datenbank, die die datenorientierte Testautomatisierung unterstützen

Tests im DWH- und BI-Umfeld laufen üblicherweise datenorientiert. Natürlich müssen auch andere Aspekte wie Performance, Darstellung, Zugriffsschutz und vieles mehr penibel geprüft und qualitätsgesichert werden. Dennoch ist der Fachanwender einer BI-Applikation vorwiegend daran interessiert, dass die angezeigten Werte seiner Erwartung entsprechen. Passiert es nun aber doch, dass eine bestimmte Zahl in einem Bericht eine andere Qualität aufweist, als erwartet – etwa in Granularität, Zeitbezug, Aktualität oder Vollständigkeit – dann geht die Suche los. Die Gründe können vielfältig sein: Wurde ein wichtiges Vorsystem noch gar nicht angezapft? Gab es vielleicht einen Fehler in der ETL-Transformation? Möglicherweise hat die Übergabe an einen Datamart nicht funktioniert. Oder es handelt sich schlichtweg um einen Altfehler im Vorsystem.

Das Credo, mit dem Sie dem Fehler auf die Schliche kommen, lautet: testen, testen, testen – und das am besten automatisiert. Was Sie dafür brauchen, ist ein engmaschiges Netz aus Plausibilitätschecks, Quersummen, Regeln, Schwellwerten und dergleichen mehr. Damit lässt sich nicht nur die Herkunft des Fehlers effizient eingrenzen, auch Fehleranalyse und -behebung gehen anschließend schneller. Je mehr sinnvolle Ausschnitte des Datenwürfels, Tabellen im Core-DWH, Schnittstellen und so weiter auf diese Weise überprüft werden, desto erfolgreicher auch der Test.

Das Testnetz

Dieses Testnetz zu knüpfen bedeutet zunächst einmal viel Arbeit. Arbeit, die sich aber auszahlt. Besonders, wenn Sie den Testprozess später automatisieren. Denn DWHs werden ständig erweitert und verbessert – und müssen dementsprechend auch immer wieder getestet werden. Mit einem solchen empfindlichen Fehlerradar ausgestattet, lassen sich DWH/BI-Plattform deutlich komfortabler betreiben. Fehler bemerken Sie so schneller als der Endanwender.

Die Testautomation

Ist die Automatisierung der Tests im DWH- und BI-Umfeld erstmal eingerichtet, haben Sie die Grundvoraussetzung für eine effiziente Fehleranalyse und -behebung geschaffen. Darüber hinaus ist es aber wichtig, dass die Zusammenarbeit mit der Entwicklung sowie mit anderen Workstreams funktioniert. Dafür ist es hilfreich, bestimmte SLAs mit den Entwicklern zu vereinbaren – etwa die Bearbeitungsdauer des Fehlers nach Schweregrad – und bestimmte KPIs einzuführen – zum Beispiel eine Defekt-Reopening-Quote. Mit solchen Maßnahmen lässt sich die Qualität des Bugfixings besser steuern.

Was können wir für Sie tun?

Ihnen fehlen die Ressourcen oder die Kompetenzen, um Tests zu automatisieren und in einem DWH/BI-Projekt aufzusetzen? Die Consultants von ITGAIN kennen sich bestens damit aus. Sprechen Sie uns einfach an!

Neuen Kommentar schreiben

Ihre E-Mail Adresse wird nicht veröffentlicht.

NEUESTE BEITRÄGE

Werde Werkstudent bei ITGAIN
29.11.2022

Werde Werkstudent bei ITGAIN

Sören Schmock

Als Werkstudent bei ITGAIN verdienst du neben deinem Studium nicht nur Geld, sondern sammelst wertvolle Erfahrung für dein späteres Berufsleben. Dabei achten wir darauf, dass du in der Regel zwischen 16 und 20 Stunden in der Woche arbeitest, da dein Hauptfokus auf dem Studium liegen soll.
Der Werkstudentenjob bei ITGAIN kann für dich der erste Schritt ins Berufsleben und ein Türöffner für deine eigene Entwicklung sein. Bei uns lernst du strategisch zu denken, zu präsentieren und dein Projekt zu managen. Du eignest dir zudem Soft Skills, wie den Umgang mit Kollegen, den Umgang mit Stress und Kritikfähigkeit an.

Expertise
Konzeption einer Data Governance-Initiative für einen Finanzdienstleister
13.10.2022

Konzeption einer Data Governance-Initiative für einen Finanzdienstleister

Team Data Governance

ITGAIN unterstützt in der stark regulierten Finanzbranche ein mittelständisches Bankinstitut bei der Umsetzung einer Data Governance-konformen Datenstrategie. Der Fokus liegt auf dem Ausgestalten, der durch Regularien wie BCBS239, MaRisk u. a. vorgeschriebenen Anforderungen. Hierbei werden alle relevanten Unternehmensbereiche, beginnend von der Kundenansprache, über Finanzbuchhaltung und Controlling bis hin zum Risikomanagement, betrachtet.

Data Engineering
Wichtige Details bei der Anbindung von DataStage an Snowflake
04.10.2022

Wichtige Details bei der Anbindung von DataStage an Snowflake | Umzug eines DWH auf eine Snowflake - Teil 6

Christian Hagen

In diesem letzten Teil der Blogreihe über einen Umzug von Oracle zu Snowflake wollen wir uns genauer die Besonderheiten in Jobs ansehen, auf die du bei der Anpassung der DataStage Jobs achten musst.

Data Engineering