Data Engineering

Den Schatz der Informationen heben. Durch flexible und skalierbarer Datenplattformen. Mit Business Intelligence, Automatisierung, Big Data, Data Science, Internet of Things und KI in Echtzeit für Data Warehouses.
Wir unterstützen unsere Kunden dabei, komplexe Daten nutzbar zu machen, zu analysieren und zu verstehen – mit dem Ziel, datenbasierte (Produkt-) Innovationen zu entwickeln. Unsere Mission ist es, den verborgenen Mehrwert in Ihren Daten hervorzubringen und aufweisen.
Sie wissen, welche Schätze aus der Masse Ihrer Informationen verborgen sind. Wir helfen Ihnen, diese Schätze zu heben, damit Sie Ihre Chancen ergreifen können.

 

Konzeption einer Data Governance-Initiative für einen Finanzdienstleister
13.10.2022

Konzeption einer Data Governance-Initiative für einen Finanzdienstleister

Team Data Governance

ITGAIN unterstützt in der stark regulierten Finanzbranche ein mittelständisches Bankinstitut bei der Umsetzung einer Data Governance-konformen Datenstrategie. Der Fokus liegt auf dem Ausgestalten, der durch Regularien wie BCBS239, MaRisk u. a. vorgeschriebenen Anforderungen. Hierbei werden alle relevanten Unternehmensbereiche, beginnend von der Kundenansprache, über Finanzbuchhaltung und Controlling bis hin zum Risikomanagement, betrachtet.

Data Engineering
Wichtige Details bei der Anbindung von DataStage an Snowflake
04.10.2022

Wichtige Details bei der Anbindung von DataStage an Snowflake | Umzug eines DWH auf eine Snowflake - Teil 6

Christian Hagen

In diesem letzten Teil der Blogreihe über einen Umzug von Oracle zu Snowflake wollen wir uns genauer die Besonderheiten in Jobs ansehen, auf die du bei der Anpassung der DataStage Jobs achten musst.

Data Engineering
Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5
09.09.2022

Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5

Christian Hagen

In den ersten Teilen der Blogreihe haben wir beschrieben, wie du DataStage Jobs von (beispielsweise) Oracle auf Snowflake umstellen kannst. In diesem Teil wollen wir uns auf Besonderheiten und Probleme stürzen, die bei einem Schwenk von Oracle zu Snowflake auftreten können und die sich als „Schätzchen“ in den Jobs und manuellem SQL verstecken können.

Data Engineering
Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3
16.08.2022

Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3

Christian Hagen

In den ersten beiden Teilen dieser Blog-Reihe haben wir uns den Kontext angeschaut, in dem wir uns mit dem Umzug von Oracle zur Snowflake beschäftigen. In diesem Teil geht es jetzt um die Anbindung von DataStage an Snowflake.

Data Engineering
Umzug eines DWH auf eine Snowflake
01.07.2022

Umzug eines DWH auf eine Snowflake - Teil 1

Christian Hagen

Wir haben einen Kunden mit einem großen DWH-Umfeld auf eine Reise in die Cloud unterstützt. Mehrere tausend DataStage Jobs verteilt in mehreren Projekten laden und transformieren Daten in das Data Warehouse. Die Projekte sind im Laufe der letzten 5-10 Jahre durch mehrere Teams aufgebaut worden. Für die Datenhaltung wird ein Oracle RDBMS genutzt, das nun durch eine Snowflake DB ersetzt worden ist.

Data Engineering
Industriereife Datenbasis für eine KI-optimierte Logistik
22.02.2022

Industriereife Datenbasis für eine KI-optimierte Logistik

Thomas Weiler

Wann ist ein Gleitlager in der Fertigungshalle für Schiffsmotoren verfügbar? Wann kann ein Patient eine Salbe in der Apotheke abholen? Zu welcher Uhrzeit bekommt der Kunde eine Online-Bestellung nach Hause geliefert? KI mit präzisen Daten beantwortet diese Fragen. Anhand eines Projektbeispiels erklären wir, wie dies umgesetzt wird und welche Rolle dabei auf Graphen basierende Algorithmen und Datenstrukturen spielen.

Data Engineering
ITGAIN Cloud Matillion
26.10.2021

Matillion ETL - Hands On

Nick Kalbe

Hat der letzte Blogartikel „Matillion ETL – Datenintegration für und in der Cloud“ dein Interesse geweckt und du kannst es kaum erwarten, deine ersten praktischen Erfahrungen mit Matillion ETL zu sammeln? Dann bist du hier genau richtig. In diesem Blogeintrag wirst du Schritt für Schritt durch den Prozess der Konfiguration einer kostenlosen Matillion-Instanz geleitet, welche als Zieldatenbank die Snowflake angebunden hat. Das Ziel ist der Aufbau einer Sandbox-Umgebung, mit welcher das Tool auf Leib und Seele getestet werden kann.

Data Engineering
Snowflake ITGAIN
31.05.2021

Snowflake – Getting Started #2 Erstellung eines Virtual Warehouses und einer Datenbank

Ealil Birabakaran Florian Schmedes

Willkommen zurück!
Schön, dass Du dabeigeblieben bist und nach einem ersten Überblick über das User-Interface jetzt die ersten Schritte in der Snowflake unternehmen möchtest. Reden wir gar nicht lange um den heißen Brei herum, sondern legen direkt los.

Data Engineering
ITGAIN DQM
15.04.2021

Datenqualitätsmanagement (DQM) - Verbesserungsprozess und Datenqualitätsprüfung [Video]

Team Data Governance

Gutes Datenqualität-Management (DQM) ist der Schlüssel für dauerhaft hohe Datenqualität

Data Engineering
Matillion ITGAIN
15.04.2021

Matillion ETL – Datenintegration für und in der Cloud

Nick Kalbe

Seit dem ersten Entwurf des Data Warehouse Konzepts ist viel Zeit verstrichen. Neue Technologietrends und Innovationen sorgen für eine stetige Veränderung. Einer dieser Trends, der aktuell sehr hohe Aufmerksamkeit genießt, ist die Cloud. Durch das Auslagern der Infrastruktur in die Cloud versprechen sich Unternehmen Skalierbarkeit, Mobilität und die Abgabe von Aufgaben bezüglich Inhouse Servern an die Cloud-Dienstleister. Ein passendes ETL-Tool für die Cloud-Strategie zu finden ist eine große Herausforderung, weil die Palette von Cloud-fähigen ETL-Tools auf dem Markt schier unendlich ist und stetig wächst. Im Rahmen unserer Blogserie stellen wir einige Cloud-fähige ETL-Tools vor, beginnend mit Matillion ETL in diesem Artikel.

Data Engineering