Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5
09.09.2022

Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5

Christian Hagen

In den ersten Teilen der Blogreihe haben wir beschrieben, wie du DataStage Jobs von (beispielweise) Oracle auf Snowflake umstellen kannst. In diesem Teil wollen wir uns auf Besonderheiten und Probleme stürzen, die bei einem Schwenk von Oracle zu Snowflake auftreten können und die sich als „Schätzchen“ in den Jobs und manuellem SQL verstecken können.

Data Engineering
Wie erfolgt die Migration von DataStage ETL-Jobs?
30.08.2022

Wie erfolgt die Migration von DataStage ETL-Jobs? | Umzug eines DWH auf eine Snowflake - Teil 4

Christian Hagen

In Teil 3 haben wir uns angesehen, wie DataStage an eine Snowflake angebunden werden kann. In diesem Teil wollen wir uns ansehen, wie ein Job umgestellt wird und wie der ITGAIN JobManipulator das vereinfacht.
Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3
16.08.2022

Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3

Christian Hagen

In den ersten beiden Teilen dieser Blog-Reihe haben wir uns den Kontext angeschaut, in dem wir uns mit dem Umzug von Oracle zur Snowflake beschäftigen. In diesem Teil geht es jetzt um die Anbindung von DataStage an Snowflake.

Data Engineering
Überblick und Grundlagen | Umzug eines DWH auf eine Snowflake - Teil 2
26.07.2022

Überblick und Grundlagen | Umzug eines DWH auf eine Snowflake - Teil 2

Christian Hagen

Es geht hier um einen Umzug der Daten einer Data Warehouse Anwendung von einer on-premise Oracle Datenbank auf eine cloudbasierte Snowflake Datenbank. Die Anwendung hat einen großen (klassischen) ETL-Kern basierend auf IBM DataStage, der auch weiterhin als on-premise Anwendung betrieben werden soll. Im Ergebnis haben wir nach der Umstellung einen hybriden Betrieb.

Umzug eines DWH auf eine Snowflake
01.07.2022

Umzug eines DWH auf eine Snowflake - Teil 1

Christian Hagen

Wir haben einen Kunden mit einem großen DWH-Umfeld auf eine Reise in die Cloud unterstützt. Mehrere tausend DataStage Jobs verteilt in mehreren Projekten laden und transformieren Daten in das Data Warehouse. Die Projekte sind im Laufe der letzten 5-10 Jahre durch mehrere Teams aufgebaut worden. Für die Datenhaltung wird ein Oracle RDBMS genutzt, das nun durch eine Snowflake DB ersetzt worden ist.

Data Engineering
Industriereife Datenbasis für eine KI-optimierte Logistik
22.02.2022

Industriereife Datenbasis für eine KI-optimierte Logistik

Thomas Weiler

Wann ist ein Gleitlager in der Fertigungshalle für Schiffsmotoren verfügbar? Wann kann ein Patient eine Salbe in der Apotheke abholen? Zu welcher Uhrzeit bekommt der Kunde eine Online-Bestellung nach Hause geliefert? KI mit präzisen Daten beantwortet diese Fragen. Anhand eines Projektbeispiels erklären wir, wie dies umgesetzt wird und welche Rolle dabei auf Graphen basierende Algorithmen und Datenstrukturen spielen.

Data Engineering
ITGAIN Cloud Matillion
26.10.2021

Matillion ETL - Hands On

Nick Kalbe

Hat der letzte Blogartikel „Matillion ETL – Datenintegration für und in der Cloud“ dein Interesse geweckt und du kannst es kaum erwarten, deine ersten praktischen Erfahrungen mit Matillion ETL zu sammeln? Dann bist du hier genau richtig. In diesem Blogeintrag wirst du Schritt für Schritt durch den Prozess der Konfiguration einer kostenlosen Matillion-Instanz geleitet, welche als Zieldatenbank die Snowflake angebunden hat. Das Ziel ist der Aufbau einer Sandbox-Umgebung, mit welcher das Tool auf Leib und Seele getestet werden kann.

Data Engineering
Snowflake ITGAIN
31.05.2021

Snowflake – Getting Started #2 Erstellung eines Virtual Warehouses und einer Datenbank

Ealil Birabakaran Florian Schmedes

Willkommen zurück!
Schön, dass Du dabeigeblieben bist und nach einem ersten Überblick über das User-Interface jetzt die ersten Schritte in der Snowflake unternehmen möchtest. Reden wir gar nicht lange um den heißen Brei herum, sondern legen direkt los.

Data Engineering
ITGAIN DQM
15.04.2021

Datenqualitätsmanagement (DQM) - Verbesserungsprozess und Datenqualitätsprüfung [Video]

Team Data Governance

Gutes Datenqualität-Management (DQM) ist der Schlüssel für dauerhaft hohe Datenqualität

Data Engineering
ITGAIN Snowflake
09.03.2021

Snowflake – Getting Started #1 Erstellung eines kostenlosen Testaccounts und Erklärung der UI

Ealil Birabakaran Florian Schmedes

Im Rahmen dieser Blogserie werden wir Euch Schritt-für-Schritt mit in die Wolke nehmen, damit Ihr Eure ersten eigenen Gehversuche und Erfahrungen mit Snowflake sammeln könnt.

Data Engineering