Infrastructure

Wir freuen uns erneut Gastgeber des größten deutschen DB2 User-Group-Treffens zu sein. Verpasse nicht die spannenden Vorträge, sowie den fachlichen Austausch mit vielen bekannten und neuen Gesichtern der DB2 Welt. Jetzt anmelden. #idug #db2 #mannheim

Entwickler werden immer schneller, dank agiler Methoden wie Scrum. Beim Betrieb von IT-Infrastrukturen dagegen sind Sicherheit und Kontinuität entscheidend. Die DevOps-Methode ermöglicht die Überwindung der „IT der zwei Geschwindigkeiten“ – wenn man sie geschickt anwendet. Die Annäherung zwischen Softwareentwicklung und Infrastruktur-Betrieb: Neue Ansätze versprechen hier interessante Lösungen. Das Aufsetzen von Containern statt virtueller Maschinen beispielsweise. Dadurch können komplette Testumgebungen blitzschnell aufgesetzt werden, wenn das Entwicklungsteam dies benötigt. Besonders wichtig: Der Prozess stellt die Konsistenz sicher und reduziert die Fehleranfälligkeit. Wie aber setzt man das in der Praxis um? Am besten so, dass nicht jedes Mal bei null anfangen werden muss. Deswegen sollten DevOps-Ansätze es ermöglichen, Infrastrukturlösungen bereitzustellen, die sich in Gänze oder in Teilen nicht nur auf eine, sondern auf verschiedene Situationen übertragen lassen. Und genau das macht ITGAIN. „Inzwischen bieten wir eine Lösung, die sich in der Praxis bewährt hat, gleichzeitig aber flexibel auf die Bedürfnisse unserer Kunden und deren Umgebung angepasst werden kann“, so Ferdinand Prahst, IT-Consultant bei ITGAIN. Zum Beispiel, so Prahst, könnten dabei vorhandene Tools verwendet werden. „Es geht eher um das Gesamtkonzept – und das funktioniert.“   „DevOps ist weder Selbstzweck noch eine Standardlösung. Vielmehr geht es darum, Entwicklung und Betrieb intelligent zu verbinden.“ - Ferdinand Prahst, IT-Consultant bei ITGAIN Eine Testumgebung für alle Fälle Die Qualitätssicherung verbessern und den Entwicklungszyklus unterstützen – das muss eine Testumgebung leisten. ITGAIN erreicht dieses Ziel mit DevOps-Ansätzen: Aus dem Entwicklungszyklus checkt der Entwickler im Testsystem ein. Anschließend werden die Ergebnisse der Softwareentwicklung eingesetzt, die Datenbank erstellt und Testdaten generiert – alles automatisiert. Nach Durchlauf meldet das System die Ergebnisse und Fehler, falls vorhanden. Auch komplexe Testanforderungen lassen sich so zügig bedienen. „Bei aller Liebe zu agilen Prozessen – die Qualität darf nicht leiden, gerade, wenn’s drauf ankommt“, weiß Prahst. Und das nicht nur wegen Compliance-Anforderungen, sondern oft auch, weil sehr viel auf dem Spiel steht. „Stellen Sie sich vor – der Mitarbeiter einer Versicherung merkt lediglich, dass die Datenbank etwas langsam läuft, aber plötzlich stellt sich heraus, dass seit sechs Monaten Schadensmeldungen falsch berechnet wurden“, beschreibt Prahst den Albtraum jedes Managers. Genau hier kann eine ausgereifte Testumgebung kurze Entwicklungszyklen und größtmögliche Sicherheit bei der Fehlersuche verbinden. Lohnt sich die Investition in DevOps? Ob sich DevOps lohnt, hängt natürlich von der eingekauften Lösung ab. ITGAIN arbeitet vor allem mit Open Source-Tools und kann so die Kosten verringern. Der Mehrwert, den die Lösung von ITGAIN bietet, liegt aber vor allem in der Vorarbeit und in der gesammelten Praxiserfahrung. „Wir verstecken unsere Lösung und unsere Ansätze nicht. Vielmehr bieten wir unseren Kunden einen großen Erfahrungsschatz, um mögliche Fallstricke zu vermeiden und die reibungslose Integration in bestehende Systeme sicherzustellen. Wir sehen uns als Partner und bringen offen und transparent unser Know-how ein“, so der IT-Consultant, dem der respektvolle Austausch schon immer am Herzen lag. „Auch wir lernen in jedem Projekt dazu – und diese Erfahrung teilen wir gerne. Deshalb macht mir meine Arbeit auch so viel Freude.“  

Immer mehr Daten in immer größerer Geschwindigkeit speichern und bearbeiten? Ein Server allein schafft das irgendwann nicht mehr. Die Devise lautet deswegen Teamwork: Mehrere Rechner teilen die Aufgaben untereinander auf. Klingt einleuchtend? Ist aber knifflig. Philipp Böcker, Big Data Consultant bei ITGAIN, erklärt Ihnen Hadoop Cluster so, dass es jeder versteht. Sogar ein 10-Jähriger. YARN, HDFS oder Map-Reduce-Algorithmus… Wer verstehen will, wie ein Hadoop Cluster funktioniert, stößt ganz schnell auf unverständliche Begriffe. Dabei ist die Sache eigentlich ganz einfach. Stell dir vor, du musst eine Mathearbeit schreiben. Verflixt. Aber diesmal ist alles anders: Du schreibst sie nicht allein. Deine Klasse nimmt nämlich an einem Mathewettbewerb teil. Die Klasse, die am schnellsten ist und am besten abschneidet, gewinnt. Deswegen soll jeder nur die Aufgaben rechnen, die er gut schaffen kann. Klingt gut? Ist es auch! Und deswegen macht man das Gleiche, wenn man so irrsinnig viel zu berechnen hat, dass es ein Computer allein nicht mehr schafft. Dann verteilt man die Aufgaben auf viele Rechner. Das Ganze nennt man dann ein Hadoop Cluster. Und es funktioniert eigentlich genauso wie du und deine Klasse bei einer Mathearbeit. Nur nicht mit Matheaufgaben, Schülern und Lehrern, sondern mit Daten, Computern und Computerprogrammen. Aber zurück zu dir. Du und deine Klassenkameraden – die Computer – sitzt also im Klassenzimmer auf euren Plätzen und seid bereit loszulegen. Die Arbeit liegt auf dem Pult beim Lehrer – im Hadoop Cluster würde das „Hadoop Distributed File System“ heißen. Die Aufgabe des Lehrers übernimmt ein Computerprogramm namens YARN. Der Lehrer jedenfalls kennt nicht nur die einzelnen Aufgaben der Mathearbeit gut, sondern weiß auch, welche deiner Mitschüler besonders fit sind und wer nicht ganz so schnell rechnen kann. Deswegen überlegt er sich vorher schon mal, wie er die Aufgaben verteilen möchte. Also wer mehr Aufgaben rechnen soll, wer weniger. Wer die schwereren Aufgaben bekommt und wer die leichteren. Schließlich kommt es heute nicht darauf an herauszufinden, wer der größte Mathecrack ist, sondern ein Gesamtergebnis mit der Note 1 zu bekommen. Du findest, das könnte ruhig immer so sein… Die Aufgaben müssen also sinnvoll verteilt werden. Dabei hilft eure Klassensprecherin Luise dem Lehrer. Natürlich, wie immer... Der Lehrer hat Luise gesagt, dass Philipp vier mittelschwere Aufgaben erledigen soll. Die schlaue Rike soll ein kleineres, aber kniffligeres Aufgabenpaket bekommen. Und Marina, die beim letzten Mal nicht so schnell war, bekommt zwei leichte Aufgaben. Luise schnipselt die Klassenarbeit deswegen erstmal auseinander und legt die Aufgaben auf verschiedene Stapel, einen für leichte, einen für mittelschwere und einen für schwierige Aufgaben. Dann ruft sie jeden Schüler einzeln auf und sagt ihm, welche Aufgaben er sich nehmen soll. Später, wenn ihr dann fertig seid, wird Luise eure Aufgaben wieder zusammenfügen. Dieses ganze Auseinanderschnipseln und wieder Zusammenkleben nennt man im Hadoop Cluster „Map-Reduce“. Aber egal, was für dich als Rechner zählt, ist: Von insgesamt 30 Aufgaben musst du nur drei erledigen. Toll! Während nun alle Schüler so vor sich hinrechnen, geht Luise rum und sieht nach, ob auch wirklich jeder mit seinen Aufgaben klarkommt. Dabei sieht sie zum Beispiel, dass Rike viel flotter ist als gedacht und du mit deinen Aufgaben mal wieder ganz schön ins Schwitzen kommst. Also nimmt sie dir eine Aufgabe weg und schiebt sie zu Rike rüber. Wirklich, dieses System gefällt dir! Und Rike auch. Als alle fertig sind, legt jeder seine Aufgaben auf Luises Tisch. Die fügt sie dann wieder zu einer kompletten Arbeit zusammen. Wenn sie fertig ist, sagt sie dem Lehrer Bescheid. Der schickt sie dann an andere Erwachsene, die sich den ganzen Wettbewerb ausgedacht haben. Klar, schließlich sind Berechnungen ja meist zu irgendwas gut – und wenn es nur ein Wettbewerb ist. Eine Woche später bekommt ihr das Ergebnis. Leider hat’s diesmal nur für Platz 2 gereicht, weil eine andere Klasse schneller war. Aber nächstes Mal wird’s sicher was mit dem Sieg! Euer Lehrer hat nämlich euch und eure Fähigkeiten wieder ein bisschen besser kennengelernt. Und du darfst in Zukunft deswegen auch hundertprozentig nur deine Lieblingsaufgaben rechnen.  

Wer große Mengen unterschiedlicher Datenformen für Analytics nutzen will, kommt an Data Lakes kaum vorbei. Doch um die richtigen Daten zum Fließen zu bringen, ist beim Einrichten einiges zu beachten. Ansonsten kann aus dem See durchaus ein nutzloser Tümpel werden. IT Consultant Jens Lehmann erklärt, wie ein Data Lake strukturiert sein sollte. Herr Lehmann, parallel zu Data Warehouses nutzen immer mehr Unternehmen Data Lakes. Was ist eigentlich der Unterschied? In einem Data Lake werden große Mengen angelegt – also Big Data, die man so in einem Data Warehouse nicht speichern kann. Denn Data-Lake-Daten können im Rohzustand verbleiben. Und sie können aus unterschiedlichen Quellen stammen. Um im Bild zu bleiben: Ein Data Lake ist ein großes Gewässer, gespeist aus mehreren Zuflüssen. Ein Data Warehouse besteht eher aus vielen befüllten Behältern mit bereits gedruckten Etiketten. In welchen Anwendungsfällen ist Analytics per Data Lake denn sinnvoll? Vor allem wenn große Massen an Informationen mit herkömmlichen Mitteln nicht analysiert werden können. Viele Unternehmen haben Millionen von Sensordaten, Verkaufsinformationen oder Social-Media-Inhalten, die ein Data Lake gemeinsam speichern kann. Ok. Und wie sorge ich dafür, dass diese Daten zusammen nutzbar sind? Wie strukturiere ich einen Data Lake richtig? Man muss die Rohdaten mit zusätzlichen Merkmalen anreichern. Zum einen mit Metadaten, die verraten, von welchem Ort aus jemand auf eine Website zugegriffen hat. Zum anderen mit Metaprozessinformationen – sprich Infos darüber, wann und wo Daten generiert wurden. Bei einem Hersteller für Dichtungen heißt das: Welche Maschine hat die Dichtung um 14 Uhr hergestellt? Außerdem braucht es Kontextdaten, die Texteingaben von Kunden in Formularen oder E-Mails strukturieren. Denn ein Computer kennt zum Beispiel nicht den Unterschied, wann mit dem Wort „Bank“ das Geldinstitut oder die Sitzgelegenheit gemeint ist. Zu guter Letzt beschreiben Zuordnungshinweise die Beziehung zwischen Daten, also ob Abhängigkeiten zwischen Merkmalen bestehen. Reicht das, oder braucht es noch mehr Struktur? Es reicht nicht ganz. Viele Unternehmen häufen aus verschiedenen Abteilungen verschiedene Daten an. Sie sollten daher den großen Data Lake in Data Ponds unterteilen – also in kleinere Datenteiche, wenn man so will. Die Daten in den Teichen können aber dennoch durch die Metadaten miteinander verbunden werden. Was heißt das genau? Ausgehend von den beschriebenen Zusatzmerkmalen legt man Data Ponds an. Das heißt, analoge Daten, Textdaten und Prozessdaten bilden eigene Bereiche, Cluster genannt. Sie werden auch mit verschiedenen technischen Methoden zusammengefasst. Das ist Expertenarbeit. Aber am Ende sind die Daten nicht nur für Experten nutzbar, sondern für viele Mitarbeiter. Haben Sie ein Beispiel? Endanwender wie Verkaufspersonal oder Marketingexperten können Data Lakes nutzen. Sie finden schnell Zusammenhänge – zum Beispiel zwischen allen produzierten Dichtungen in der eben angesprochenen Produktion. Ist eine Charge fehlerhaft, kann man anhand ihrer Zusatzdaten sehen, welche Maschine sie wann produziert hat – und den Fehler finden. Oder man findet schnell eine Auflistung der häufigsten Kundenkommentare der letzten Monate zu einem Produkt. Klingt rechenintensiv. Was braucht es an Hardware, um mit Data Lakes zu arbeiten? Praktischerweise lässt sich ein Data Lake ohne aufwändige Rechnerarchitektur betreiben. Über das Open Source Framework Hadoop können in den Clustern viele Computer miteinander verbunden werden, die ihre Rechenleistung für den Data Lake zur Verfügung stellen. Haben Sie noch generelle Hinweise für den Nutzen eines Data Lakes? Es reicht nicht, den Data Lake mit Inhalten aus allen zur Verfügung stehenden Quellen zu fluten. Vielmehr sollte es darum gehen, die Möglichkeiten dieses Konzeptes richtig zu nutzen. Ohne Vernünftiges Information Lifecycle Management und entsprechende Governance wird dies nicht gelingen. Daher ist eine Vorab-Analyse der Ziele enorm wichtig. Richtig angelegt sind die Daten aus Data Lakes nicht nur für Experten nutzbar, sondern für viele Mitarbeiter." Jens Lehmann, IT Consultant bei ITGAIN.

Steve Mills, Senior Vice President der IBM, hat auf der IOD in Las Vegas die Stände von fünf ausgewählten IBM Business Partnern besucht. Einer davon war der Stand der ITGAIN. Steve Mills bedankte sich für das Engagement der ITGAIN als Alphatester für DB2 Version 10.5 mit BLU Accelleration Feature. Er informierte sich über das Monitoring Tool "Speedgain" der ITGAIN und nahm sich Zeit, um mit den Geschäftsführern Thomas Kalb und Per Stricker über notwendige Erweiterungen der BLU Funktionalität in kommenden DB2-Releases zu sprechen.   "Der Besuch von Steve Mills war für uns eine große Ehre, er verfügt über große Fachkenntnis der aktuellen DB2-Entwicklungen." fasst Thomas Kalb seinen Eindruck von dem Besuch zusammen.

Den Teilnehmern wurden am 10. Februar die Neuerungen der DB2 Version 10 (Galileo) präsentiert. Die vorgestellte Neuerungen wurden seitens des Fachpublikums sehr positiv aufgenommen und fanden eine breite Zustimmung. Beeindruckt reagierte das Publikum auf die Ergebnisse der ITGAIN EASY Benchmark Utilities. In bestimmten Benchmark Kategorien wurden überraschende Ergebnisse erzielt. Die Veranstaltung endete letztendlich in eine fachbezogene Diskussion mit den DB2 Experten der IBM und der ITGAIN. Innerhalb dieser Diskussion wurden nochmals viele praxisbezogene Einsatzmöglichkeiten der Neuerungen von den Teilnehmern erkannt. Zusammenfassend stellte das Publikum den Neuerungen ein positives Zeugnis aus. ITGAIN - Informationstechnologie gewinnbringend einsetzen. Seit 2001 steht ITGAIN für spezielle Aufgabenstellungen für Informations- und Datensysteme. Schwerpunkt bildet die Verbindung von fachlichen Wissen und IT-Experten Wissen.