#194 Was wurde aus MapReduce und der funktionalen Eleganz in verteilten Systemen?

MapReduce: Ein Deep Dive


Im Jahr 2004 war die Verarbeitung von großen Datenmengen eine
richtige Herausforderung. Einige Firmen hatten dafür sogenannte
Supercomputer. Andere haben nur mit der Schulter gezuckt und auf
das Ende ihrer Berechnung gewartet. Google war einer der Player,
der zwar große Datenmengen hatte und diese auch verarbeiten
wollte, jedoch keine Supercomputer zur Verfügung hatte. Oder
besser gesagt: Nicht das Geld in die Hand nehmen wollte.


Was macht man also, wenn man ein Problem hat? Eine Lösung suchen.
Das hat Jeffrey Dean und sein Team getan. Das Ergebnis? Ein
revolutionäres Paper, wie man mittels MapReduce große Datenmengen
verteilt auf einfacher Commodity-Hardware verarbeiten kann.


In dieser Podcast-Episode schauen wir uns das mal genauer an. Wir
klären, was MapReduce ist, wie es funktioniert, warum MapReduce
so revolutionär war, wie es mit Hardware-Ausfällen umgegangen
ist, welche Herausforderungen in der Praxis hatte bzw. immer noch
hat, was das Google File System, Hadoop und HDFS damit zu tun
haben und ordnen MapReduce im Kontext der heutigen Technologien
mit Cloud und Co ein.


Eine weitere Episode “Papers We Love”.


Bonus: Hadoop ist wohl der Elefant im Raum.





Unsere aktuellen Werbepartner findest du auf
https://engineeringkiosk.dev/partners





Das schnelle Feedback zur Episode:


(top)  (geht
so)



Anregungen, Gedanken, Themen und Wünsche

Dein Feedback zählt! Erreiche uns über einen der folgenden Kanäle
…


EngKiosk Community:
https://engineeringkiosk.dev/join-discord 

LinkedIn: https://www.linkedin.com/company/engineering-kiosk/

Email: stehtisch@engineeringkiosk.dev

Mastodon: https://podcasts.social/@engkiosk

Bluesky:
https://bsky.app/profile/engineeringkiosk.bsky.social

Instagram: https://www.instagram.com/engineeringkiosk/




Unterstütze den Engineering Kiosk

Wenn du uns etwas Gutes tun möchtest … Kaffee schmeckt uns
immer 


Buy us a coffee: https://engineeringkiosk.dev/kaffee




Links

MapReduce: Simplified Data Processing on Large Clusters:
https://static.googleusercontent.com/media/research.google.com/en//archive/mapreduce-osdi04.pdf

Apache Hadoop: https://hadoop.apache.org/

HDFS Architecture Guide:
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

Engineering Kiosk Episode #180 Skalierung, aber zu welchem
Preis? (Papers We Love):
https://engineeringkiosk.dev/podcast/episode/180-skalierung-aber-zu-welchem-preis-papers-we-love/




Sprungmarken

(00:00:00) MapReduce: Ein Deep Dive


(00:04:32) Info/Werbung


(00:05:32) MapReduce: Ein Deep Dive


(00:15:05) Storage: Google File System (GFS) und Hadoop
Distributed File System (HDFS)


(00:21:27) Wie funktioniert MapReduce?


(00:38:10) Seiteneffekte, Determinismus und Reproduzierbarkeit


(00:40:42) Produktanforderung: Welche Seiten sind in welcher
Altersgruppe populär?


(00:47:48) Batch vs. Streaming


(00:50:23) Heutige Relevanz von MapReduce



Hosts

Wolfgang Gassler (https://gassler.dev) 

Andy Grunwald (https://andygrunwald.com/)




Community

Diskutiere mit uns und vielen anderen Tech-Spezialist⋅innen in
unserer Engineering Kiosk Community unter
https://engineeringkiosk.dev/join-discord