Über das spannende Thema Big Data spreche ich mit Maurice Knopp in
der einhundertfünfundsechzigsten Episode des IT-Berufe-Podcasts.
TL;DR Ich gehe mit Maurice Knopp der Frage nach, wann du
Big-Data-Technologien brauchst und wie du damit arbeitest.
Entscheidend sind die Datenmenge, unterschiedliche Datenstrukturen,
das Tempo und die Qualität der Daten. Data Engineering führt Daten
zusammen und bereitet sie auf; Data Science sucht darin nach
Mustern und entwickelt Modelle für Vorhersagen. Du lernst zentrale
Werkzeuge wie Hadoop und Spark kennen und erfährst, wie du als
IT-Azubi durch praktische Übungen in das Thema einsteigen kannst.
Kapitelmarken [00:00:00] Big Data in der IT-Ausbildung [00:01:19]
Maurice Knopp und sein beruflicher Hintergrund [00:02:50]
Programmiersprachen, IDEs und aktive Ökosysteme [00:07:53] Wann
beginnt Big Data? [00:09:48] Die vier Vs und typische Datenprobleme
[00:14:11] Datenqualität verbessern und Daten verstehen [00:16:08]
Warum Big-Data-Projekte in die Cloud wechseln [00:19:02] Hadoop,
Lizenzkosten und der Einstieg in die Cloud [00:21:51] Für welche
Unternehmen Big Data relevant wird [00:23:50] Daten auswerten und
Ausschuss in der Fertigung reduzieren [00:26:42] Klickdaten und
interessenbezogene Werbung [00:28:08] Data Engineering und Data
Science [00:29:54] Ausfälle vorhersagen und Wartung planen
[00:31:04] ETL, Hive und der Data Lake [00:33:52] Klassische
Datenbanken und verteilte Systeme [00:36:34] SQL, Spark und die
Konzepte hinter den Werkzeugen [00:40:55] Fähigkeiten und Ablauf
eines Datenprojekts [00:43:46] Modelle auswählen und neuronale
Netze trainieren [00:47:06] Mathematik, KI und die Qualität der
Trainingsdaten [00:52:16] Edge Computing und lokal verarbeitete
Sensordaten [00:54:45] Werkzeuge im Hadoop- und Cloud-Umfeld
[00:57:38] HDFS als Grundlage eines Data Lake [00:59:25] Wie
MapReduce funktioniert [01:03:21] Dateiformate, virtuelle Tabellen
und Bilddaten [01:05:44] Python und PySpark [01:08:18]
Berufseinstieg durch Ausbildung oder Studium [01:11:12] Daten- und
Prozessanalyse und Overfitting [01:13:03] Bücher und Videokurse zum
Einstieg [01:14:31] Datenprojekte im Unternehmen anstoßen
[01:18:43] Weiterlernen und Empfehlungssysteme [01:21:00] Praktisch
lernen und Wissen weitergeben [01:23:46] Weitere Quellen und
Kontakt zu Maurice Knopp [01:25:32] Cloud und softwaregesteuerte
Infrastruktur [01:27:32] Abschluss des Gesprächs [01:28:18]
Shownotes und weitere Podcast-Empfehlungen Inhalt Allgemeines zur
Person Wie ist dein Name und wo arbeitest du (falls gewünscht)?
Name: Maurice Knopp Beruf: Softwareentwickler seit über 16 Jahren;
Anfangs Enterprise Software (Java, Backend), seit 4 Jahren
Schwerpunkt Big Data Technologien. Freiberufler in Zusammenarbeit
mit der skillbyte GmbH aus Köln. Hobbies: Podcaster f. skillbyte
& OpenSource Entwickler (LaTeX-Vorlage für Abschlussarbeiten
(Bachelor, Master, PhD)) An welchen Projekten arbeitest du zur Zeit
in deinem Tagesjob? Konzeption von Big Data Architekturen (Data
Lakes) & Big Data Softwareanwendungen (on premise; seit 2019
ausschließlich Cloud) für Großunternehmen (z.B. Medienbranche)
Implementierung von ETL-Strecken (Daten extrahieren,
transformieren, laden in neuer DB oder Cloud Storage) Enterprise
Software (Java, Backend) (z.B. Energieversorger) Wie bist du zur
Informatik bzw. Softwareentwicklung gekommen? Bereits als Kind mit
6 Jahren von Technik fasziniert (GameBoy). Ich wollte immer
verstehen, wie die Technik funktioniert. Erster PC MacIntosh + DOS:
PC-Tuning. In den 2000ern Faszination für Internet und Linux
entwickelt. Welche Ausbildung bzw. welches Studium hast du im
Bereich der Informatik absolviert? 2004-2008 Medieninformatik
Bachelor an der TH Köln 2008-2010 Wirtschaftinformatik Master an
der TH Köln viele Projekte nebenbei: Für Firmen Software und
Webseiten erstellt, Abschlussarbeiten (B.SC. / M.SC.) stets in
Unternehmen gemacht (Luxemburg / Köln). Mit welcher/n
Programmiersprache/n arbeitest du im Alltag? Java (riesiges
Ökosystem, viele Data-Komponenten wurden in Java entwickelt (HDFS),
super für threaded Entwicklung) Python (Data Libs, Microservices)
Scala (Spark) SQL (extrem wichtig, auf jeden Fall lernen) Bash
(Scripting) Container + Orchestrierung: Docker + Kubernetes sind
aktuell das große Ding (on-prem und cloud) Was ist deine
Lieblingsprogrammiersprache und warum? Java, top
Entwicklungsumgebungsunterstützung, riesiges Ökosystem mit vielen
frei verfügbaren Bausteinen, hoher Reifegrad, von App-Entwicklung
bis Server-Softare alles möglich. Aber: Keine religiöse Einstellung
zur Programmiersprache! Ökosystem ist wichtiger, da eine gute IDE
per Autocompletion viel Arbeit abnimmt. Man sollte die zum
Anwendungsfall passende Sprache auswählen. Die IDE ist ein
wichtiges Werkzeug, dessen Benutzung man perfektionieren sollte.
Macht einen großen Unterschied bei der Produktivität. Wichtig ist,
dass die gewählte Sprache lebt und sich weiterentwickelt. Gute
Features werden eh mit der Zeit übernommen (z.B. aus Rails). Big
Data Was verbirgt sich hinter dem Begriff "Big Data"? Die Frage
wird meist von Kunden gestellt, um herauszufinden, ob sie "schon"
Big Data machen oder noch ganz normale Datenverarbeitung. Wann wird
aus Datenverarbeitung Big Data? Ab 1 Mio Datenzeilen? Ab 100 Mio?
Big Data bezeichnet Technologien zur Verarbeitung und Auswertung
"riesiger Datenmengen" -> 100 Mio von Datenpunkten. In kurzer
Zeit entstehen viele Datenpunkte, meist Millionen am Tag. Sie
werden dann oft aggregiert in Dashboards. Software zur massiven
Parallelverarbeitung mit Standard-Hardware (Enterprise Grade Linux
Server, Cloud VMs). Big Data fängt an, wenn eine Maschine nicht
mehr reicht für die Verarbeitung der Daten. Beispiel: Aggregiere
Verkaufsdaten in riesigen Datenbeständen
(Divide-and-Conquer-Modell). Selbstfahrendes Auto liefert schnell
viele Daten. Viele DAX-Konzerne haben das im Einsatz, da bei ihnen
viele Daten anfallen. Was verbirgt sich hinter den "vier Vs"
(velocity, volume, variety, veracity)? Volume (Datenmenge): Big
Data macht nur bei extrem großen Datenmengen Sinn. Für die
Verarbeitung von 10-100 Mio Datensätzen reichen Standardwerkzeuge.
10-100 Mio Datensätzen pro Stunde -> da wird es interessant.
Variety (Vielfalt der Datenstrukturen): strukturiert (DB) vs.
unstrukturiert (Text, PDF Dokumente, Bilder, Video). Velocity
(Geschwindigkeit): Wie schnell werden Daten erzeugt bzw. müssen
verarbeitet werden, z.B. beim autonomen Fahren. Veracity
(Wahrhaftigkeit): Unsicherheit bzgl. der Datenqualität. Beispiele:
unterschiedliche Zeitzonen, Umlaute, fehlende Daten, doppelte
Daten, ungültige Daten etc. Veracity macht häufig Probleme bei
Kunden. Kann das nur durch manuelle Arbeit gelöst werden?
Standardlösungen sind für häufige Probleme möglich (Kleinschreibung
von Benutzernamen usw.). Auf Hadoop gibt es viele Lösungen Seit
2019 läuft alles in der Cloud und nicht mehr im eigenen RZ. Das
sollte man aber vorher rechtlich klären. Warum wird so viel in der
Cloud betrieben? Die vier Vs schreien nach der Cloud. Dort ist z.B.
NoSQL einfach verfügbar und scheinbar "unendlicher" Speicher.
Skalierbarkeit ist in der Cloud auch optimal. Realtime geht
natürlich nur lokal. Hat die Cloud Big Data vorangetrieben? Ja, da
die Einstiegshürde nun geringer ist. Hadoop ist als Open Source
gestartet (Spielzeugelefant des Kindes des Entwicklers hieß so),
aber man brauchte viele Server dafür. Big Data startet oft klein
und wächst dann schnell, daher ist Infrastruktur immer hinterher.
Hortonworks wurde gekauft von Cloudera. Dadurch gibt es jetzt hohe
Lizenzkosten pro Node. Strategie ist nun, die Top-Kunden zu
betreuen, die nicht in die Cloud dürfen/können. Warum ist das Thema
Big Data aktuell und in Zukunft wichtig und interessant? Daten sind
das neue Öl (Treibstoff)! Datenanalyse ist der Verbrennungsmotor
(richtigen Schlüsse aus Daten ziehen). Beispiele (Daten/Analyse)
Logdaten: Systemfehler finden. Wo können Kunden nicht bedient
werden? Welche Prozesse schlagen fehl? Wo sind Antwortzeiten zu
hoch? Nutzerverhalten: Welche Funktionen werden genutzt, welche
nicht? Dementsprechend Entwicklungsleistung konzentrieren. Welche
Produkte werden nachgefragt? Wo brechen Kunden im Prozess ab?
A/B-Tests verschiedener Varianten, um optimalen Kandidaten zu
finden (z. B. bei der Buchung von Flügen). Telemetriedaten von
Systemen: Voraussage, wann Maschinenteile ausfallen werden
(Ersatzteilbestellung optimieren, Ausfallzeiten minimieren).
Voraussage von Technikereinsätzen. Festlegung von
Wartungsintervallen. Welche Unternehmen sollten sich mit Big Data
beschäftigen und warum? Jedes Unternehmen sollte sich fragen: In
welchen Prozessen generieren wir heute schon viele Daten und welche
Erkenntnisse könnten in diesen liegen? Welche Prozesse erfassen
noch zu wenig Daten? Welche Erkenntnismöglichkeiten hätten wir,
wenn wir alle Unternehmensdaten an einer zentralen
Daten-Sammelstelle (Data Lake) bereitstellen würden, sodass wir
Abfragen kreuz und quer über diese Daten fahren können? Beispiele:
Medienunternehmen -> User-Nutzungsdaten, Energieversorger ->
Messzählerdaten etc. Große Datenprobleme brauchen Big Data! Viele
Daten müssen erfasst werden, meist bei Millionen von Kunden. Aber
generell steigt das Datenvolumen weltweit, auch der Mittelstand
braucht irgendwann Big Data. Was sind übliche Use Cases für Big
Data? Beispiel: Industrieunternehmen hat Teile für
Weltraumunternehmen gebaut auf sechs Fertigungsstraßen. Dabei
durfte es nicht mehr als 2% Ausschuss geben, da sonst Verluste
drohten. Verschiedene Geräte arbeiteten zusammen: Öfen, CNC, etc.
Alle hatten Sensoren, die aber nicht abgefragt wurden. Irgendwann
wurden dann diese Daten gesammelt und man näherte sich der
2%-Hürde. Durch die Daten wurde festgestellt, dass 90% des
Ausschusses aus einem einzigen Ofen kamen. Der Hersteller wurde
angerufen, der Ofen neu kalibriert und 0,1% als neuer Ausschuss
erreicht. Wird bei Big Data meist etwas aus großen Datenmeng
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.