#180 Skalierung, aber zu welchem Preis? (Papers We Love)

Skalierung und verteilte Berechnungen: Sind mehr CPUs wirklich
immer schneller?


Stell dir vor, du bist Softwareentwickler*in und jeder spricht
von Skalierung und verteilten Systemen. Doch wie effizient sind
diese eigentlich wirklich? Heißt mehr Rechenpower gleich
schnellere Ergebnisse?


In dieser Episode werfen wir einen Blick auf ein
wissenschaftliches Paper, das behauptet, die wahre Leistung von
verteilten Systemen kritisch zu hinterfragen. Wir diskutieren, ab
wann es sich lohnt, mehr Ressourcen einzusetzen, und was es mit
der mysteriösen Metrik COST (ausgesprochen Configuration that
Outperforms a Single Thread) auf sich hat. Hör rein, wenn du
wissen willst, ob Single-Threaded Algorithmen in vielen Fällen
die bessere Wahl sind.


Bonus: Ggf. machen nicht alle Wissenschaftler so
wissenschaftliche Arbeit.





Unsere aktuellen Werbepartner findest du auf
https://engineeringkiosk.dev/partners





Das schnelle Feedback zur Episode:


(top)  (geht
so)



Feedback

EngKiosk Community:
https://engineeringkiosk.dev/join-discord 

Buy us a coffee: https://engineeringkiosk.dev/kaffee

Email: stehtisch@engineeringkiosk.dev

LinkedIn: https://www.linkedin.com/company/engineering-kiosk/

Mastodon: https://podcasts.social/@engkiosk

Bluesky:
https://bsky.app/profile/engineeringkiosk.bsky.social

Twitter: https://twitter.com/EngKiosk




Links

Papers We Love: https://paperswelove.org/

Papers We Love GitHub Repository:
https://github.com/papers-we-love/papers-we-love

Paper “Scalability! But at what COST?”:
https://www.usenix.org/system/files/conference/hotos15/hotos15-paper-mcsherry.pdf

Blogpost “Scalability! But at what COST?”:
https://www.frankmcsherry.org/graph/scalability/cost/2015/01/15/COST.html

Slides “Scalability! But at what COST?”:
https://www.usenix.org/sites/default/files/conference/protected-files/hotos15_slides_mcsherry.pdf

HackerNews Threas #1 zu “Scalability, but at what cost?
(2015)”: https://news.ycombinator.com/item?id=11855594

HackerNews Threas #2 zu “Scalability, but at what cost?
(2015)”: https://news.ycombinator.com/item?id=26925449

Paper “GraphX: Graph Processing in a Distributed Dataflow
Framework”:
https://www.usenix.org/system/files/conference/osdi14/osdi14-paper-gonzalez.pdf

GraphChi:
https://www.usenix.org/conference/osdi12/technical-sessions/presentation/kyrola

Stratosphere (nun Apache Flink): http://stratosphere.eu/

X-Stream:
https://sigops.org/s/conferences/sosp/2013/papers/p472-roy.pdf

Apache Spark: https://spark.apache.org/

Apache Giraph: https://giraph.apache.org/

GraphLab:
https://github.com/lqvito/graphlab?tab=readme-ov-file

Dilbert Comics: https://dilbert.com/

Single Thread Implementierung in Rust:
https://github.com/frankmcsherry/COST

Single Thread Implementierung in C++:
https://github.com/MicrosoftResearch/NaiadSamples/tree/master/COST

Command-line Tools can be 235x Faster than your Hadoop
Cluster:
https://adamdrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html

“Naiad” von Microsoft Research:
https://www.microsoft.com/en-us/research/project/naiad/

OpenMP: https://www.openmp.org/

OpenMPI: https://www.open-mpi.org/

HotOS 15 Workshop: https://www.usenix.org/conference/hotos15




Sprungmarken

(00:00:00) Papers We Love: Scalability! But at what COST?


(00:03:11) Was bedeutet Skalierung?


(00:05:32) Info/Werbung


(00:06:32) Was bedeutet Skalierung?


(00:16:20) PageRank- und Label Propagation-Algorithmus


(00:24:10) Optimierung der Daten und verwendeten Algorithmen für
spezifische Probleme


(00:29:17) COST: Configuration that Outperforms a Single Threat


(00:31:58) Learnings aus dem Paper


(00:37:50) Wissenschaftlicher Anspruch und Einschätzung des
Papers


(00:52:34) Was können wir für die Praxis aus dem Paper lernen?



Hosts

Wolfgang Gassler (https://gassler.dev) 

Andy Grunwald (https://andygrunwald.com/)




Feedback

EngKiosk Community:
https://engineeringkiosk.dev/join-discord 

Buy us a coffee: https://engineeringkiosk.dev/kaffee

Email: stehtisch@engineeringkiosk.dev

LinkedIn: https://www.linkedin.com/company/engineering-kiosk/

Mastodon: https://podcasts.social/@engkiosk

Bluesky:
https://bsky.app/profile/engineeringkiosk.bsky.social

Twitter: https://twitter.com/EngKiosk