Neueste Beiträge

Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5
09.09.2022

Lasst uns in die Snowflake abtauchen | Umzug eines DWH auf eine Snowflake - Teil 5

Christian Hagen

In den ersten Teilen der Blogreihe haben wir beschrieben, wie du DataStage Jobs von (beispielweise) Oracle auf Snowflake umstellen kannst. In diesem Teil wollen wir uns auf Besonderheiten und Probleme stürzen, die bei einem Schwenk von Oracle zu Snowflake auftreten können und die sich als „Schätzchen“ in den Jobs und manuellem SQL verstecken können.

Data Engineering
Wie erfolgt die Migration von DataStage ETL-Jobs?
30.08.2022

Wie erfolgt die Migration von DataStage ETL-Jobs? | Umzug eines DWH auf eine Snowflake - Teil 4

Christian Hagen

In Teil 3 haben wir uns angesehen, wie DataStage an eine Snowflake angebunden werden kann. In diesem Teil wollen wir uns ansehen, wie ein Job umgestellt wird und wie der ITGAIN JobManipulator das vereinfacht.

Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3
16.08.2022

Wie bindet man DataStage an? | Umzug eines DWH auf eine Snowflake - Teil 3

Christian Hagen

In den ersten beiden Teilen dieser Blog-Reihe haben wir uns den Kontext angeschaut, in dem wir uns mit dem Umzug von Oracle zur Snowflake beschäftigen. In diesem Teil geht es jetzt um die Anbindung von DataStage an Snowflake.

Data Engineering
Überblick und Grundlagen | Umzug eines DWH auf eine Snowflake - Teil 2
26.07.2022

Überblick und Grundlagen | Umzug eines DWH auf eine Snowflake - Teil 2

Christian Hagen

Es geht hier um einen Umzug der Daten einer Data Warehouse Anwendung von einer on-premise Oracle Datenbank auf eine cloudbasierte Snowflake Datenbank. Die Anwendung hat einen großen (klassischen) ETL-Kern basierend auf IBM DataStage, der auch weiterhin als on-premise Anwendung betrieben werden soll. Im Ergebnis haben wir nach der Umstellung einen hybriden Betrieb.

Umzug eines DWH auf eine Snowflake
01.07.2022

Umzug eines DWH auf eine Snowflake - Teil 1

Christian Hagen

Wir haben einen Kunden mit einem großen DWH-Umfeld auf eine Reise in die Cloud unterstützt. Mehrere tausend DataStage Jobs verteilt in mehreren Projekten laden und transformieren Daten in das Data Warehouse. Die Projekte sind im Laufe der letzten 5-10 Jahre durch mehrere Teams aufgebaut worden. Für die Datenhaltung wird ein Oracle RDBMS genutzt, das nun durch eine Snowflake DB ersetzt worden ist.

Data Engineering
Industriereife Datenbasis für eine KI-optimierte Logistik
22.02.2022

Industriereife Datenbasis für eine KI-optimierte Logistik

Thomas Weiler

Wann ist ein Gleitlager in der Fertigungshalle für Schiffsmotoren verfügbar? Wann kann ein Patient eine Salbe in der Apotheke abholen? Zu welcher Uhrzeit bekommt der Kunde eine Online-Bestellung nach Hause geliefert? KI mit präzisen Daten beantwortet diese Fragen. Anhand eines Projektbeispiels erklären wir, wie dies umgesetzt wird und welche Rolle dabei auf Graphen basierende Algorithmen und Datenstrukturen spielen.

Data Engineering
ITGAIN Cloud Matillion
26.10.2021

Matillion ETL - Hands On

Nick Kalbe

Hat der letzte Blogartikel „Matillion ETL – Datenintegration für und in der Cloud“ dein Interesse geweckt und du kannst es kaum erwarten, deine ersten praktischen Erfahrungen mit Matillion ETL zu sammeln? Dann bist du hier genau richtig. In diesem Blogeintrag wirst du Schritt für Schritt durch den Prozess der Konfiguration einer kostenlosen Matillion-Instanz geleitet, welche als Zieldatenbank die Snowflake angebunden hat. Das Ziel ist der Aufbau einer Sandbox-Umgebung, mit welcher das Tool auf Leib und Seele getestet werden kann.

Data Engineering
Snowflake ITGAIN
31.05.2021

Snowflake – Getting Started #2 Erstellung eines Virtual Warehouses und einer Datenbank

Ealil Birabakaran Florian Schmedes

Willkommen zurück!
Schön, dass Du dabeigeblieben bist und nach einem ersten Überblick über das User-Interface jetzt die ersten Schritte in der Snowflake unternehmen möchtest. Reden wir gar nicht lange um den heißen Brei herum, sondern legen direkt los.

Data Engineering
ITGAIN DQM
15.04.2021

Datenqualitätsmanagement (DQM) - Verbesserungsprozess und Datenqualitätsprüfung [Video]

Team Data Governance

Gutes Datenqualität-Management (DQM) ist der Schlüssel für dauerhaft hohe Datenqualität

Data Engineering
ITGAIN Snowflake
09.03.2021

Snowflake – Getting Started #1 Erstellung eines kostenlosen Testaccounts und Erklärung der UI

Ealil Birabakaran Florian Schmedes

Im Rahmen dieser Blogserie werden wir Euch Schritt-für-Schritt mit in die Wolke nehmen, damit Ihr Eure ersten eigenen Gehversuche und Erfahrungen mit Snowflake sammeln könnt.

Data Engineering
analytics@itgain
29.06.2017

Business Analytics: Passender Methodenmix bringt beste Resultate – ITGAIN Artikel im BI-Spektrum

Im Gespräch mit BI-Spektrum ist sich Per Stricker in drei Dingen ganz sicher: Big Data und Analytics funktionieren ohne kognitive Ansätze nicht, Banken und Versicherungen sind stärker mit Compliance- als mit Big-Data-Themen beschäftigt, und Data Lakes werden das Data Warehouse nicht ablösen.

Data Engineering
blog.analytics
23.01.2017

Fachartikel zu Hybrides Data Warehouse am Beispiel von Data Vault – Shared Data in einer virtuellen Architektur

In der heutigen BI-Welt müssen Anforderungen der Fachbereiche und gesetzliche Vorgaben sowie die Wünsche der Nutzer von Smart Devices an personenbezogenen Daten in Einklang gebracht werden.

Data Engineering
Managed Service
31.10.2016

BI-Plattform – Betrieb und Wartung via Managed Application Services der ITGAIN

Das Unternehmen hat für seine Geschäftsbereiche eine globale BI-Plattform aufgesetzt und eingeführt. Die Plattform dient als Basis für ca. 20 Anwendungen zur Analyse, Reporting und Datenverarbeitung für die Prozesse Produktabsatz, Controlling und Forschung des Konzerns

Managed Services
Blog.Expertise
05.05.2016

Data Governance Framework

Das ITGAIN Governance Framework zur “sanften” Umsetzung für eine Data Governance Strategie wird nach den Erfahrungen im letzten Jahr ausgebaut.

Expertise
blog.analytics
08.09.2015

High-Performance Data-Vault

Es ist kein Geheimnis mehr, dass Data Vault als Modellierungsmethode auf dem Vormarsch ist. Allerdings werden Einführungs- und Umsetzungskomplexität, sowie technologische Anforderungen im Hinblick auf die Query-Performance des zugrunde liegenden Datenhaltungssystems meist unterschätzt.

Data Engineering
blog.analytics
21.11.2011

Business Monitoring als Grundlage für das Schwankungskonzept

Für das Berichtswesen von Daten außerhalb des Kernbankensystems hatten sich bei einem Finanzinstitut in der Historie mehrere dispositive Datenbanken etabliert. Immer wieder mussten Daten manuell zusammengeführt werden. Die zum Teil redundanten Kennzahlen und Strukturen waren nicht einheitlich definiert und führten zu Fehlinterpretationen oder zeitaufwändigen Diskussionen.

Data Engineering
blog.analytics
18.06.2010

Erfolgreiche BI/DWH Implementierung mit Open-Source-Tool

Einsatz der Open Source-Lösung Pentaho BI Suite überzeugt. Neben den geringeren Anschaffungs- und Folgekosten ist insbesondere die Quelloffenheit als Entscheidungsgrund für den Einsatz zu nennen. Sie gestatten das Einbinden spezieller Funktionalitäten durch Java-Scripts ebenso wie die Integration weiterer Applikationen in die BI Suite.

Data Engineering