IT Infrastructures

Im Rahmen des neuen Gemeinschaftsprojektes ZediTA der Hochschule Weserbergland hält ITGAIN die Keynote auf der kommenden ZediTA-Veranstaltungen am 15.01.2020. Philipp ist Lead Consultant bei der ITGAIN einem mittelständischen Beratungsunternehmen. Er wird einen Blick auf die Technologien werfen, die uns dabei helfen die Frage „Was verbindet Elon Musk und Uber?“ zu beantworten. Welche Lösungen haben sich am Markt etabliert und wie können wir diese kombinieren, um dauerhaft Mehrwerte zu generieren. Er macht seinen Werkzeugkasten auf und zeigt, womit Data Scientisten sowie Data Engineers arbeiten. Link zur Veranstaltung Hochschule Weserbergland

Agilität im Datenbankbetrieb bringt eine Reihe von neuen Tools und Technologien mit sich, die vielen Bereits aus dem DevOps Umfeld bekannt sind. Eine der derzeit mit am häufigsten diskutierten ist Docker, bei ITGAIN besonders im Fokus: Db2 auf Docker.Im Bereich Operational Services befassen wir uns mit diesem Thema schon seit längerem, um unseren Kunden und Partnern in diesem Bereich die bestmögliche Unterstützung zu bieten. Die derzeit von der IBM zur Verfügung gestellten DB2 Docker Images mit Developer Lizenz sind kostenfrei verfügbar und eignen sich somit optimal für Test- und Entwicklungszwecke, auf einem Docker Server wie auch auf dem eigenen Desktop PC mit Docker Desktop. Die Images sind über Docker Hub öffentlich verfügbar und können schnell und einfach auf den eigenen PC geladen werden. Die nötigen Schritte und Docker commands zusammengefasst: 1)    Installation von Docker Desktop (Windows / MacOS) 2)    Erwerben des kostenfreien Images im Docker Hub (https://hub.docker.com/_/db2-developer-c-edition) 3)    Login im Docker Hub Windows-CMD / MacOS Terminal           docker login           User: <docker id>          Password: <docker password> 4)    Laden des Images: docker pull store/ibmcorp/db2_developer_c:11.1.4.4-x86_64 5)    Anlage einer Konfig-Datei (.env-list) mit mind. folgendem Inhalt (Instanzname und Passwort sollten angepasst werden): LICENSE=accept DB2INSTANCE=db2inst1 DB2INST1_PASSWORD=password DBNAME=testdb BLU=false ENABLE_ORACLE_COMPATIBILITY=false UPDATEAVAIL=NO TO_CREATE_SAMPLEDB=false REPODB=false IS_OSXFS=false PERSISTENT_HOME=true HADR_ENABLED=false ETCD_ENDPOINT= ETCD_USERNAME= ETCD_PASSWORD= 6)    Start eines Container aus dem Db2 Image (Werte in <> sind anzupassen): docker run -h <Hostname> \         --name <ContainerName> \         --restart=always \           --detach \           --privileged=true \         -p 50000:50000 -p 55000:55000 \         --env-file .env_list \         -v <db storage dir>:/database \         store/ibmcorp/db2_developer_c:11.1.4.4-x86_64          7)    Überwachen der Startup-Schritte docker logs -f <ContainerName> Nach einer gewissen Startup-Zeit ist die Db2 Datenbank verfügbar und verhält sich wie jedes andere Db2 und  unterscheidet sich in erster Linie nicht von einem Db2, das nicht auf Docker betrieben wird. Es ist über die IP Adresse des Docker Hosts (auf einem Desktop PC: localhost bzw. 127.0.0.1 oder Hostname bzw. dessen IP) und dem im „docker run“-Command angegebenen Port erreichbar (Default 50.000). Root-Shell Zugang bekommt man über die command line mittels „docker exec -ti <my_db2_server> bash“. Die wichtigsten Commands für Docker haben wir in folgendem Cheat-Sheet zusammen gefasst.

Entwickler werden immer schneller, dank agiler Methoden wie Scrum. Beim Betrieb von IT-Infrastrukturen dagegen sind Sicherheit und Kontinuität entscheidend. Die DevOps-Methode ermöglicht die Überwindung der „IT der zwei Geschwindigkeiten“ – wenn man sie geschickt anwendet. Die Annäherung zwischen Softwareentwicklung und Infrastruktur-Betrieb: Neue Ansätze versprechen hier interessante Lösungen. Das Aufsetzen von Containern statt virtueller Maschinen beispielsweise. Dadurch können komplette Testumgebungen blitzschnell aufgesetzt werden, wenn das Entwicklungsteam dies benötigt. Besonders wichtig: Der Prozess stellt die Konsistenz sicher und reduziert die Fehleranfälligkeit. Wie aber setzt man das in der Praxis um? Am besten so, dass nicht jedes Mal bei null anfangen werden muss. Deswegen sollten DevOps-Ansätze es ermöglichen, Infrastrukturlösungen bereitzustellen, die sich in Gänze oder in Teilen nicht nur auf eine, sondern auf verschiedene Situationen übertragen lassen. Und genau das macht ITGAIN. „Inzwischen bieten wir eine Lösung, die sich in der Praxis bewährt hat, gleichzeitig aber flexibel auf die Bedürfnisse unserer Kunden und deren Umgebung angepasst werden kann“, so Ferdinand Prahst, IT-Consultant bei ITGAIN. Zum Beispiel, so Prahst, könnten dabei vorhandene Tools verwendet werden. „Es geht eher um das Gesamtkonzept – und das funktioniert.“   „DevOps ist weder Selbstzweck noch eine Standardlösung. Vielmehr geht es darum, Entwicklung und Betrieb intelligent zu verbinden.“ - Ferdinand Prahst, IT-Consultant bei ITGAIN Eine Testumgebung für alle Fälle Die Qualitätssicherung verbessern und den Entwicklungszyklus unterstützen – das muss eine Testumgebung leisten. ITGAIN erreicht dieses Ziel mit DevOps-Ansätzen: Aus dem Entwicklungszyklus checkt der Entwickler im Testsystem ein. Anschließend werden die Ergebnisse der Softwareentwicklung eingesetzt, die Datenbank erstellt und Testdaten generiert – alles automatisiert. Nach Durchlauf meldet das System die Ergebnisse und Fehler, falls vorhanden. Auch komplexe Testanforderungen lassen sich so zügig bedienen. „Bei aller Liebe zu agilen Prozessen – die Qualität darf nicht leiden, gerade, wenn’s drauf ankommt“, weiß Prahst. Und das nicht nur wegen Compliance-Anforderungen, sondern oft auch, weil sehr viel auf dem Spiel steht. „Stellen Sie sich vor – der Mitarbeiter einer Versicherung merkt lediglich, dass die Datenbank etwas langsam läuft, aber plötzlich stellt sich heraus, dass seit sechs Monaten Schadensmeldungen falsch berechnet wurden“, beschreibt Prahst den Albtraum jedes Managers. Genau hier kann eine ausgereifte Testumgebung kurze Entwicklungszyklen und größtmögliche Sicherheit bei der Fehlersuche verbinden. Lohnt sich die Investition in DevOps? Ob sich DevOps lohnt, hängt natürlich von der eingekauften Lösung ab. ITGAIN arbeitet vor allem mit Open Source-Tools und kann so die Kosten verringern. Der Mehrwert, den die Lösung von ITGAIN bietet, liegt aber vor allem in der Vorarbeit und in der gesammelten Praxiserfahrung. „Wir verstecken unsere Lösung und unsere Ansätze nicht. Vielmehr bieten wir unseren Kunden einen großen Erfahrungsschatz, um mögliche Fallstricke zu vermeiden und die reibungslose Integration in bestehende Systeme sicherzustellen. Wir sehen uns als Partner und bringen offen und transparent unser Know-how ein“, so der IT-Consultant, dem der respektvolle Austausch schon immer am Herzen lag. „Auch wir lernen in jedem Projekt dazu – und diese Erfahrung teilen wir gerne. Deshalb macht mir meine Arbeit auch so viel Freude.“  

Immer mehr Daten in immer größerer Geschwindigkeit speichern und bearbeiten? Ein Server allein schafft das irgendwann nicht mehr. Die Devise lautet deswegen Teamwork: Mehrere Rechner teilen die Aufgaben untereinander auf. Klingt einleuchtend? Ist aber knifflig. Philipp Böcker, Big Data Consultant bei ITGAIN, erklärt Ihnen Hadoop Cluster so, dass es jeder versteht. Sogar ein 10-Jähriger. YARN, HDFS oder Map-Reduce-Algorithmus… Wer verstehen will, wie ein Hadoop Cluster funktioniert, stößt ganz schnell auf unverständliche Begriffe. Dabei ist die Sache eigentlich ganz einfach. Stell dir vor, du musst eine Mathearbeit schreiben. Verflixt. Aber diesmal ist alles anders: Du schreibst sie nicht allein. Deine Klasse nimmt nämlich an einem Mathewettbewerb teil. Die Klasse, die am schnellsten ist und am besten abschneidet, gewinnt. Deswegen soll jeder nur die Aufgaben rechnen, die er gut schaffen kann. Klingt gut? Ist es auch! Und deswegen macht man das Gleiche, wenn man so irrsinnig viel zu berechnen hat, dass es ein Computer allein nicht mehr schafft. Dann verteilt man die Aufgaben auf viele Rechner. Das Ganze nennt man dann ein Hadoop Cluster. Und es funktioniert eigentlich genauso wie du und deine Klasse bei einer Mathearbeit. Nur nicht mit Matheaufgaben, Schülern und Lehrern, sondern mit Daten, Computern und Computerprogrammen. Aber zurück zu dir. Du und deine Klassenkameraden – die Computer – sitzt also im Klassenzimmer auf euren Plätzen und seid bereit loszulegen. Die Arbeit liegt auf dem Pult beim Lehrer – im Hadoop Cluster würde das „Hadoop Distributed File System“ heißen. Die Aufgabe des Lehrers übernimmt ein Computerprogramm namens YARN. Der Lehrer jedenfalls kennt nicht nur die einzelnen Aufgaben der Mathearbeit gut, sondern weiß auch, welche deiner Mitschüler besonders fit sind und wer nicht ganz so schnell rechnen kann. Deswegen überlegt er sich vorher schon mal, wie er die Aufgaben verteilen möchte. Also wer mehr Aufgaben rechnen soll, wer weniger. Wer die schwereren Aufgaben bekommt und wer die leichteren. Schließlich kommt es heute nicht darauf an herauszufinden, wer der größte Mathecrack ist, sondern ein Gesamtergebnis mit der Note 1 zu bekommen. Du findest, das könnte ruhig immer so sein… Die Aufgaben müssen also sinnvoll verteilt werden. Dabei hilft eure Klassensprecherin Luise dem Lehrer. Natürlich, wie immer... Der Lehrer hat Luise gesagt, dass Philipp vier mittelschwere Aufgaben erledigen soll. Die schlaue Rike soll ein kleineres, aber kniffligeres Aufgabenpaket bekommen. Und Marina, die beim letzten Mal nicht so schnell war, bekommt zwei leichte Aufgaben. Luise schnipselt die Klassenarbeit deswegen erstmal auseinander und legt die Aufgaben auf verschiedene Stapel, einen für leichte, einen für mittelschwere und einen für schwierige Aufgaben. Dann ruft sie jeden Schüler einzeln auf und sagt ihm, welche Aufgaben er sich nehmen soll. Später, wenn ihr dann fertig seid, wird Luise eure Aufgaben wieder zusammenfügen. Dieses ganze Auseinanderschnipseln und wieder Zusammenkleben nennt man im Hadoop Cluster „Map-Reduce“. Aber egal, was für dich als Rechner zählt, ist: Von insgesamt 30 Aufgaben musst du nur drei erledigen. Toll! Während nun alle Schüler so vor sich hinrechnen, geht Luise rum und sieht nach, ob auch wirklich jeder mit seinen Aufgaben klarkommt. Dabei sieht sie zum Beispiel, dass Rike viel flotter ist als gedacht und du mit deinen Aufgaben mal wieder ganz schön ins Schwitzen kommst. Also nimmt sie dir eine Aufgabe weg und schiebt sie zu Rike rüber. Wirklich, dieses System gefällt dir! Und Rike auch. Als alle fertig sind, legt jeder seine Aufgaben auf Luises Tisch. Die fügt sie dann wieder zu einer kompletten Arbeit zusammen. Wenn sie fertig ist, sagt sie dem Lehrer Bescheid. Der schickt sie dann an andere Erwachsene, die sich den ganzen Wettbewerb ausgedacht haben. Klar, schließlich sind Berechnungen ja meist zu irgendwas gut – und wenn es nur ein Wettbewerb ist. Eine Woche später bekommt ihr das Ergebnis. Leider hat’s diesmal nur für Platz 2 gereicht, weil eine andere Klasse schneller war. Aber nächstes Mal wird’s sicher was mit dem Sieg! Euer Lehrer hat nämlich euch und eure Fähigkeiten wieder ein bisschen besser kennengelernt. Und du darfst in Zukunft deswegen auch hundertprozentig nur deine Lieblingsaufgaben rechnen.  

Wer große Mengen unterschiedlicher Datenformen für Analytics nutzen will, kommt an Data Lakes kaum vorbei. Doch um die richtigen Daten zum Fließen zu bringen, ist beim Einrichten einiges zu beachten. Ansonsten kann aus dem See durchaus ein nutzloser Tümpel werden. IT Consultant Jens Lehmann erklärt, wie ein Data Lake strukturiert sein sollte. Herr Lehmann, parallel zu Data Warehouses nutzen immer mehr Unternehmen Data Lakes. Was ist eigentlich der Unterschied? In einem Data Lake werden große Mengen angelegt – also Big Data, die man so in einem Data Warehouse nicht speichern kann. Denn Data-Lake-Daten können im Rohzustand verbleiben. Und sie können aus unterschiedlichen Quellen stammen. Um im Bild zu bleiben: Ein Data Lake ist ein großes Gewässer, gespeist aus mehreren Zuflüssen. Ein Data Warehouse besteht eher aus vielen befüllten Behältern mit bereits gedruckten Etiketten. In welchen Anwendungsfällen ist Analytics per Data Lake denn sinnvoll? Vor allem wenn große Massen an Informationen mit herkömmlichen Mitteln nicht analysiert werden können. Viele Unternehmen haben Millionen von Sensordaten, Verkaufsinformationen oder Social-Media-Inhalten, die ein Data Lake gemeinsam speichern kann. Ok. Und wie sorge ich dafür, dass diese Daten zusammen nutzbar sind? Wie strukturiere ich einen Data Lake richtig? Man muss die Rohdaten mit zusätzlichen Merkmalen anreichern. Zum einen mit Metadaten, die verraten, von welchem Ort aus jemand auf eine Website zugegriffen hat. Zum anderen mit Metaprozessinformationen – sprich Infos darüber, wann und wo Daten generiert wurden. Bei einem Hersteller für Dichtungen heißt das: Welche Maschine hat die Dichtung um 14 Uhr hergestellt? Außerdem braucht es Kontextdaten, die Texteingaben von Kunden in Formularen oder E-Mails strukturieren. Denn ein Computer kennt zum Beispiel nicht den Unterschied, wann mit dem Wort „Bank“ das Geldinstitut oder die Sitzgelegenheit gemeint ist. Zu guter Letzt beschreiben Zuordnungshinweise die Beziehung zwischen Daten, also ob Abhängigkeiten zwischen Merkmalen bestehen. Reicht das, oder braucht es noch mehr Struktur? Es reicht nicht ganz. Viele Unternehmen häufen aus verschiedenen Abteilungen verschiedene Daten an. Sie sollten daher den großen Data Lake in Data Ponds unterteilen – also in kleinere Datenteiche, wenn man so will. Die Daten in den Teichen können aber dennoch durch die Metadaten miteinander verbunden werden. Was heißt das genau? Ausgehend von den beschriebenen Zusatzmerkmalen legt man Data Ponds an. Das heißt, analoge Daten, Textdaten und Prozessdaten bilden eigene Bereiche, Cluster genannt. Sie werden auch mit verschiedenen technischen Methoden zusammengefasst. Das ist Expertenarbeit. Aber am Ende sind die Daten nicht nur für Experten nutzbar, sondern für viele Mitarbeiter. Haben Sie ein Beispiel? Endanwender wie Verkaufspersonal oder Marketingexperten können Data Lakes nutzen. Sie finden schnell Zusammenhänge – zum Beispiel zwischen allen produzierten Dichtungen in der eben angesprochenen Produktion. Ist eine Charge fehlerhaft, kann man anhand ihrer Zusatzdaten sehen, welche Maschine sie wann produziert hat – und den Fehler finden. Oder man findet schnell eine Auflistung der häufigsten Kundenkommentare der letzten Monate zu einem Produkt. Klingt rechenintensiv. Was braucht es an Hardware, um mit Data Lakes zu arbeiten? Praktischerweise lässt sich ein Data Lake ohne aufwändige Rechnerarchitektur betreiben. Über das Open Source Framework Hadoop können in den Clustern viele Computer miteinander verbunden werden, die ihre Rechenleistung für den Data Lake zur Verfügung stellen. Haben Sie noch generelle Hinweise für den Nutzen eines Data Lakes? Es reicht nicht, den Data Lake mit Inhalten aus allen zur Verfügung stehenden Quellen zu fluten. Vielmehr sollte es darum gehen, die Möglichkeiten dieses Konzeptes richtig zu nutzen. Ohne Vernünftiges Information Lifecycle Management und entsprechende Governance wird dies nicht gelingen. Daher ist eine Vorab-Analyse der Ziele enorm wichtig. Richtig angelegt sind die Daten aus Data Lakes nicht nur für Experten nutzbar, sondern für viele Mitarbeiter." Jens Lehmann, IT Consultant bei ITGAIN.

Steve Mills, Senior Vice President der IBM, hat auf der IOD in Las Vegas die Stände von fünf ausgewählten IBM Business Partnern besucht. Einer davon war der Stand der ITGAIN. Steve Mills bedankte sich für das Engagement der ITGAIN als Alphatester für DB2 Version 10.5 mit BLU Accelleration Feature. Er informierte sich über das Monitoring Tool "Speedgain" der ITGAIN und nahm sich Zeit, um mit den Geschäftsführern Thomas Kalb und Per Stricker über notwendige Erweiterungen der BLU Funktionalität in kommenden DB2-Releases zu sprechen.   "Der Besuch von Steve Mills war für uns eine große Ehre, er verfügt über große Fachkenntnis der aktuellen DB2-Entwicklungen." fasst Thomas Kalb seinen Eindruck von dem Besuch zusammen.

Den Teilnehmern wurden am 10. Februar die Neuerungen der DB2 Version 10 (Galileo) präsentiert. Die vorgestellte Neuerungen wurden seitens des Fachpublikums sehr positiv aufgenommen und fanden eine breite Zustimmung. Beeindruckt reagierte das Publikum auf die Ergebnisse der ITGAIN EASY Benchmark Utilities. In bestimmten Benchmark Kategorien wurden überraschende Ergebnisse erzielt. Die Veranstaltung endete letztendlich in eine fachbezogene Diskussion mit den DB2 Experten der IBM und der ITGAIN. Innerhalb dieser Diskussion wurden nochmals viele praxisbezogene Einsatzmöglichkeiten der Neuerungen von den Teilnehmern erkannt. Zusammenfassend stellte das Publikum den Neuerungen ein positives Zeugnis aus. ITGAIN - Informationstechnologie gewinnbringend einsetzen. Seit 2001 steht ITGAIN für spezielle Aufgabenstellungen für Informations- und Datensysteme. Schwerpunkt bildet die Verbindung von fachlichen Wissen und IT-Experten Wissen.