Über das spannende Thema Big Data spreche ich mit Maurice Knopp in
der einhundertfünfundsechzigsten Episode des IT-Berufe-Podcasts.
Inhalt Allgemeines zur Person Wie ist dein Name und wo arbeitest du
(falls gewünscht)? Name: Maurice Knopp Beruf: Softwareentwickler
seit über 16 Jahren; Anfangs Enterprise Software (Java, Backend),
seit 4 Jahren Schwerpunkt Big Data Technologien. Freiberufler in
Zusammenarbeit mit der skillbyte GmbH aus Köln. Hobbies: Podcaster
f. skillbyte & OpenSource Entwickler (LaTeX-Vorlage für
Abschlussarbeiten (Bachelor, Master, PhD)) An welchen Projekten
arbeitest du zur Zeit in deinem Tagesjob? Konzeption von Big Data
Architekturen (Data Lakes) & Big Data Softwareanwendungen (on
premise; seit 2019 ausschließlich Cloud) für Großunternehmen (z.B.
Medienbranche) Implementierung von ETL-Strecken (Daten extrahieren,
transformieren, laden in neuer DB oder Cloud Storage) Enterprise
Software (Java, Backend) (z.B. Energieversorger) Wie bist du zur
Informatik bzw. Softwareentwicklung gekommen? Bereits als Kind mit
6 Jahren von Technik fasziniert (GameBoy). Ich wollte immer
verstehen, wie die Technik funktioniert. Erster PC MacIntosh + DOS:
PC-Tuning. In den 2000ern Faszination für Internet und Linux
entwickelt. Welche Ausbildung bzw. welches Studium hast du im
Bereich der Informatik absolviert? 2004-2008 Medieninformatik
Bachelor an der TH Köln 2008-2010 Wirtschaftinformatik Master an
der TH Köln viele Projekte nebenbei: Für Firmen Software und
Webseiten erstellt, Abschlussarbeiten (B.SC. / M.SC.) stets in
Unternehmen gemacht (Luxemburg / Köln). Mit welcher/n
Programmiersprache/n arbeitest du im Alltag? Java (riesiges
Ökosystem, viele Data-Komponenten wurden in Java entwickelt (HDFS),
super für threaded Entwicklung) Python (Data Libs, Microservices)
Scala (Spark) SQL (extrem wichtig, auf jeden Fall lernen) Bash
(Scripting) Container + Orchestrierung: Docker + Kubernetes sind
aktuell das große Ding (on-prem und cloud) Was ist deine
Lieblingsprogrammiersprache und warum? Java, top
Entwicklungsumgebungsunterstützung, riesiges Ökosystem mit vielen
frei verfügbaren Bausteinen, hoher Reifegrad, von App-Entwicklung
bis Server-Softare alles möglich. Aber: Keine religiöse Einstellung
zur Programmiersprache! Ökosystem ist wichtiger, da eine gute IDE
per Autocompletion viel Arbeit abnimmt. Man sollte die zum
Anwendungsfall passende Sprache auswählen. Die IDE ist ein
wichtiges Werkzeug, dessen Benutzung man perfektionieren sollte.
Macht einen großen Unterschied bei der Produktivität. Wichtig ist,
dass die gewählte Sprache lebt und sich weiterentwickelt. Gute
Features werden eh mit der Zeit übernommen (z.B. aus Rails). Big
Data Was verbirgt sich hinter dem Begriff "Big Data"? Die Frage
wird meist von Kunden gestellt, um herauszufinden, ob sie "schon"
Big Data machen oder noch ganz normale Datenverarbeitung. Wann wird
aus Datenverarbeitung Big Data? Ab 1 Mio Datenzeilen? Ab 100 Mio?
Big Data bezeichnet Technologien zur Verarbeitung und Auswertung
"riesiger Datenmengen" -> 100 Mio von Datenpunkten. In kurzer
Zeit entstehen viele Datenpunkte, meist Millionen am Tag. Sie
werden dann oft aggregiert in Dashboards. Software zur massiven
Parallelverarbeitung mit Standard-Hardware (Enterprise Grade Linux
Server, Cloud VMs). Big Data fängt an, wenn eine Maschine nicht
mehr reicht für die Verarbeitung der Daten. Beispiel: Aggregiere
Verkaufsdaten in riesigen Datenbeständen
(Divide-and-Conquer-Modell). Selbstfahrendes Auto liefert schnell
viele Daten. Viele DAX-Konzerne haben das im Einsatz, da bei ihnen
viele Daten anfallen. Was verbirgt sich hinter den "vier Vs"
(velocity, volume, variety, veracity)? Volume (Datenmenge): Big
Data macht nur bei extrem großen Datenmengen Sinn. Für die
Verarbeitung von 10-100 Mio Datensätzen reichen Standardwerkzeuge.
10-100 Mio Datensätzen pro Stunde -> da wird es interessant.
Variety (Vielfalt der Datenstrukturen): strukturiert (DB) vs.
unstrukturiert (Text, PDF Dokumente, Bilder, Video). Velocity
(Geschwindigkeit): Wie schnell werden Daten erzeugt bzw. müssen
verarbeitet werden, z.B. beim autonomen Fahren. Veracity
(Wahrhaftigkeit): Unsicherheit bzgl. der Datenqualität. Beispiele:
unterschiedliche Zeitzonen, Umlaute, fehlende Daten, doppelte
Daten, ungültige Daten etc. Veracity macht häufig Probleme bei
Kunden. Kann das nur durch manuelle Arbeit gelöst werden?
Standardlösungen sind für häufige Probleme möglich (Kleinschreibung
von Benutzernamen usw.). Auf Hadoop gibt es viele Lösungen Seit
2019 läuft alles in der Cloud und nicht mehr im eigenen RZ. Das
sollte man aber vorher rechtlich klären. Warum wird so viel in der
Cloud betrieben? Die vier Vs schreien nach der Cloud. Dort ist z.B.
NoSQL einfach verfügbar und scheinbar "unendlicher" Speicher.
Skalierbarkeit ist in der Cloud auch optimal. Realtime geht
natürlich nur lokal. Hat die Cloud Big Data vorangetrieben? Ja, da
die Einstiegshürde nun geringer ist. Hadoop ist als Open Source
gestartet (Spielzeugelefant des Kindes des Entwicklers hieß so),
aber man brauchte viele Server dafür. Big Data startet oft klein
und wächst dann schnell, daher ist Infrastruktur immer hinterher.
Hortonworks wurde gekauft von Cloudera. Dadurch gibt es jetzt hohe
Lizenzkosten pro Node. Strategie ist nun, die Top-Kunden zu
betreuen, die nicht in die Cloud dürfen/können. Warum ist das Thema
Big Data aktuell und in Zukunft wichtig und interessant? Daten sind
das neue Öl (Treibstoff)! Datenanalyse ist der Verbrennungsmotor
(richtigen Schlüsse aus Daten ziehen). Beispiele (Daten/Analyse)
Logdaten: Systemfehler finden. Wo können Kunden nicht bedient
werden? Welche Prozesse schlagen fehl? Wo sind Antwortzeiten zu
hoch? Nutzerverhalten: Welche Funktionen werden genutzt, welche
nicht? Dementsprechend Entwicklungsleistung konzentrieren. Welche
Produkte werden nachgefragt? Wo brechen Kunden im Prozess ab?
A/B-Tests verschiedener Varianten, um optimalen Kandidaten zu
finden (z. B. bei der Buchung von Flügen). Telemetriedaten von
Systemen: Voraussage, wann Maschinenteile ausfallen werden
(Ersatzteilbestellung optimieren, Ausfallzeiten minimieren).
Voraussage von Technikereinsätzen. Festlegung von
Wartungsintervallen. Welche Unternehmen sollten sich mit Big Data
beschäftigen und warum? Jedes Unternehmen sollte sich fragen: In
welchen Prozessen generieren wir heute schon viele Daten und welche
Erkenntnisse könnten in diesen liegen? Welche Prozesse erfassen
noch zu wenig Daten? Welche Erkenntnismöglichkeiten hätten wir,
wenn wir alle Unternehmensdaten an einer zentralen
Daten-Sammelstelle (Data Lake) bereitstellen würden, sodass wir
Abfragen kreuz und quer über diese Daten fahren können? Beispiele:
Medienunternehmen -> User-Nutzungsdaten, Energieversorger ->
Messzählerdaten etc. Große Datenprobleme brauchen Big Data! Viele
Daten müssen erfasst werden, meist bei Millionen von Kunden. Aber
generell steigt das Datenvolumen weltweit, auch der Mittelstand
braucht irgendwann Big Data. Was sind übliche Use Cases für Big
Data? Beispiel: Industrieunternehmen hat Teile für
Weltraumunternehmen gebaut auf sechs Fertigungsstraßen. Dabei
durfte es nicht mehr als 2% Ausschuss geben, da sonst Verluste
drohten. Verschiedene Geräte arbeiteten zusammen: Öfen, CNC, etc.
Alle hatten Sensoren, die aber nicht abgefragt wurden. Irgendwann
wurden dann diese Daten gesammelt und man näherte sich der
2%-Hürde. Durch die Daten wurde festgestellt, dass 90% des
Ausschusses aus einem einzigen Ofen kamen. Der Hersteller wurde
angerufen, der Ofen neu kalibriert und 0,1% als neuer Ausschuss
erreicht. Wird bei Big Data meist etwas aus großen Datenmengen
aggregiert? Data Engineering befasst sich damit, Daten
zusammenzufassen, zu planen, einen Data Lake mit normierten Daten
zu erzeugen, ETL. Data Science erzeugt statistische Modelle, KI,
neuronale Netze mit dem Ziel, Erkenntnisse zu gewinnen,
Muster/Ausreißer zu finden, Voraussagen zu treffen. MTBF (mean time
between failure) als Beispiel: besser schonmal vorher Ersatzteile
bestellen, bevor etwas kaputt geht (Predictive Mainenance). ETL gab
es schon vor Big Data! Was kann ich mit Big Data machen, was vorher
nicht möglich war? Kurz: 1) große Datenbestände überhaupt
verarbeiten und 2) das zu vertretbaren Kosten tun. Abrenzung "Data
Science" und "Data Engineering" Data Science: Kernkompetenzen eines
Data Scientists liegen in fortgeschrittenen Kenntnissen der
Mathematik und Statistik, Machine Learning, Artificial Intelligence
und erweiterter Fähigkeiten zu Datenanalyse. Oberstes Ziel eines
Data Scientist ist es, die Auswertungsergebnisse in Hinblick auf
die Nützlichkeit für ein Unternehmen oder Geschäftszweck zu
untersuchen und diese verständlich zu präsentieren bzw. zu
kommunizieren. Kommunikation und verständliche Visualisierung der
Ergebnisse stellen eine Schlüsselqualifikation dar und sind genau
so wichtig wie die Durchführung der Analysen selbst. Im Gegensatz
zu einem Data Engineer ist ein Data Scientist viel mehr mit der
Interpretation und der (visuellen) Aufbereitung der Daten befasst,
trainiert Modelle bzw. Machine-Learning-Algorithmen und prüft diese
fortlaufend auf Passgenauigkeit. Data Engineering: Kernkompetenzen
eines Data Engineers liegen im Bereich der angewandten,
fortgeschrittenen Programmierung in Hochsprachen (Python, Scala,
Java), dem Verständnis von verteilten Systemen und Datenflüssen in
diesen. Datenanalyse und die Verwendung von Werkzeugen zur
Datenextraktion und -transformation gehören ebenso zu dessen
Fähigkeiten. Im Gegensatz zu einem Data Scientist stellt ein Data
Engineer also Daten bereit und verarbeitet diese programmatisch.
ETL gibt es schon sehr lange, aber heute sind andere Werkzeuge und
Möglichkeiten vorhanden. Trotzdem werden alte Konzepte übernommen
(z.B. SQL). Letzlich ist es eine Weiterentwicklung des klassischen
Data Warehouses. Ein Data Lake ist ein Pool mit viel Speicherplatz
mit allen Rohdaten. Danach werden Aggregationen auf den Daten
durchgef
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.