Neueste Beiträge

Wichtige Details bei der Anbindung von DataStage an Snowflake
04.10.2022

Wichtige Details bei der Anbindung von DataStage an Snowflake | Umzug eines DWH auf eine Snowflake - Teil 6

Christian Hagen

In diesem letzten Teil der Blogreihe über einen Umzug von Oracle zu Snowflake wollen wir uns genauer die Besonderheiten in Jobs ansehen, auf die du bei der Anpassung der DataStage Jobs achten musst.

Data Engineering
Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5
09.09.2022

Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5

Christian Hagen

In den ersten Teilen der Blogreihe haben wir beschrieben, wie du DataStage Jobs von (beispielsweise) Oracle auf Snowflake umstellen kannst. In diesem Teil wollen wir uns auf Besonderheiten und Probleme stürzen, die bei einem Schwenk von Oracle zu Snowflake auftreten können und die sich als „Schätzchen“ in den Jobs und manuellem SQL verstecken können.

Data Engineering
Wie erfolgt die Migration von DataStage ETL-Jobs?
30.08.2022

Wie erfolgt die Migration von DataStage ETL-Jobs? | Umzug eines DWH auf eine Snowflake - Teil 4

Christian Hagen

In Teil 3 haben wir uns angesehen, wie DataStage an eine Snowflake angebunden werden kann. In diesem Teil wollen wir uns ansehen, wie ein Job umgestellt wird und wie der ITGAIN JobManipulator das vereinfacht.

Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3
16.08.2022

Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3

Christian Hagen

In den ersten beiden Teilen dieser Blog-Reihe haben wir uns den Kontext angeschaut, in dem wir uns mit dem Umzug von Oracle zur Snowflake beschäftigen. In diesem Teil geht es jetzt um die Anbindung von DataStage an Snowflake.

Data Engineering
Überblick und Grundlagen | Umzug eines DWH auf eine Snowflake - Teil 2
26.07.2022

Überblick und Grundlagen | Umzug eines DWH auf eine Snowflake - Teil 2

Christian Hagen

Es geht hier um einen Umzug der Daten einer Data Warehouse Anwendung von einer on-premise Oracle Datenbank auf eine cloudbasierte Snowflake Datenbank. Die Anwendung hat einen großen (klassischen) ETL-Kern basierend auf IBM DataStage, der auch weiterhin als on-premise Anwendung betrieben werden soll. Im Ergebnis haben wir nach der Umstellung einen hybriden Betrieb.

Umzug eines DWH auf eine Snowflake
01.07.2022

Umzug eines DWH auf eine Snowflake - Teil 1

Christian Hagen

Wir haben einen Kunden mit einem großen DWH-Umfeld auf eine Reise in die Cloud unterstützt. Mehrere tausend DataStage Jobs verteilt in mehreren Projekten laden und transformieren Daten in das Data Warehouse. Die Projekte sind im Laufe der letzten 5-10 Jahre durch mehrere Teams aufgebaut worden. Für die Datenhaltung wird ein Oracle RDBMS genutzt, das nun durch eine Snowflake DB ersetzt worden ist.

Data Engineering
ITGAIN Cloud Matillion
26.10.2021

Matillion ETL - Hands On

Nick Kalbe

Hat der letzte Blogartikel „Matillion ETL – Datenintegration für und in der Cloud“ dein Interesse geweckt und du kannst es kaum erwarten, deine ersten praktischen Erfahrungen mit Matillion ETL zu sammeln? Dann bist du hier genau richtig. In diesem Blogeintrag wirst du Schritt für Schritt durch den Prozess der Konfiguration einer kostenlosen Matillion-Instanz geleitet, welche als Zieldatenbank die Snowflake angebunden hat. Das Ziel ist der Aufbau einer Sandbox-Umgebung, mit welcher das Tool auf Leib und Seele getestet werden kann.

Data Engineering
Snowflake ITGAIN
31.05.2021

Snowflake – Getting Started #2 Erstellung eines Virtual Warehouses und einer Datenbank

Ealil Birabakaran Florian Schmedes

Willkommen zurück!
Schön, dass Du dabeigeblieben bist und nach einem ersten Überblick über das User-Interface jetzt die ersten Schritte in der Snowflake unternehmen möchtest. Reden wir gar nicht lange um den heißen Brei herum, sondern legen direkt los.

Data Engineering
ITGAIN Snowflake
09.03.2021

Snowflake – Getting Started #1 Erstellung eines kostenlosen Testaccounts und Erklärung der UI

Ealil Birabakaran Florian Schmedes

Im Rahmen dieser Blogserie werden wir Euch Schritt-für-Schritt mit in die Wolke nehmen, damit Ihr Eure ersten eigenen Gehversuche und Erfahrungen mit Snowflake sammeln könnt.

Data Engineering
ITGAIN Snowflake
11.02.2021

(K)eine Schneeballschlacht mit Daten

Ealil Birabakaran Florian Schmedes

Die Cloud ist derzeit das Buzzword für Unternehmen, die überlegen ihre Datenbankinfrastruktur zu modernisieren oder gar ein neues Data Warehouse errichten wollen. Dabei sind die meisten noch unsicher, ob die Cloud der richtige Schritt für sie ist. Gründe können Unsicherheiten bezüglich des Datenschutzes sein, aber auch die Frage welche technischen Schritte einen erwarten, können zu einer zögerlichen Haltung führen. In unserer Blogserie wollen wir uns näher mit BI in der Cloud beschäftigen und den Leser Schritt für Schritt mit in die Wolke nehmen.

Data Engineering