#214 Daten aus Spotify & Co: Architektur einer skalierbaren API-Data-Pipeline

Wie würdest du ... Open Podcasts … bauen? Architektur- und
Design-Diskussion, die zweite.


Monolith oder Microservices? Python oder Go? Wer träumt nachts
eigentlich vom perfekten ETL-Stack? Als Softwareentwickler:in
kennst du das: Daten aus zig Quellen, kapriziöse APIs,
Security-Bedenken und der Wunsch nach einem skalierbaren,
sauberen Architekturkonzept. Fragen über Fragen und etliche
mögliche Wege. Welcher ist “der Richtige”?


Genau dieses Szenario nehmen wir uns zur Brust: Wolfi hat mit
„Open Podcast“ ein reales Projekt gebaut, das Analytics-Daten aus
Plattformen wie Spotify, Apple & Co. zusammenführt. Du willst
wissen, wie du verteilte APIs knackst, Daten harmonisierst,
Backups sicherst und deine Credentials nicht als Excel-Sheet auf
den Desktop legst? Komm mit auf unseren Architektur-Deepdive!
Andy wird Schritt für Schritt interviewt und challenged, wie er
als Engineer, von API-Strategie über Message Queues bis Security
und Skalierung, dieses Problem kreativ lösen würde. Nebenbei
erfährst du alles Wichtige über Open-Source-Vorteile, Datenbanken
(PostgreSQL, Clickhouse), Backups, Monitoring und DevOps. Das
Ganze immer garniert mit Learnings aus der echten Praxis.





Unsere aktuellen Werbepartner findest du auf
https://engineeringkiosk.dev/partners





Das schnelle Feedback zur Episode:


(top)  (geht
so)



Anregungen, Gedanken, Themen und Wünsche

Dein Feedback zählt! Erreiche uns über einen der folgenden Kanäle
…


EngKiosk Community:
https://engineeringkiosk.dev/join-discord 

LinkedIn: https://www.linkedin.com/company/engineering-kiosk/

Email: stehtisch@engineeringkiosk.dev

Mastodon: https://podcasts.social/@engkiosk

Bluesky:
https://bsky.app/profile/engineeringkiosk.bsky.social

Instagram: https://www.instagram.com/engineeringkiosk/




Unterstütze den Engineering Kiosk

Wenn du uns etwas Gutes tun möchtest … Kaffee schmeckt uns
immer 


Buy us a coffee: https://engineeringkiosk.dev/kaffee




Links

Engineering Kiosk Episode #154 Architektur-Diskussion: Design
eines einfachen und robusten Preis-Scrapers:
https://engineeringkiosk.dev/podcast/episode/154-architektur-diskussion-design-eines-einfachen-und-robusten-preis-scrapers/

Open Podcast: https://openpodcast.dev/

Open Podcast auf GitHub: https://github.com/openpodcast/

Restic: https://restic.net/

Percona XtraBackup:
https://www.percona.com/mysql/software/percona-xtrabackup




Sprungmarken

(00:00:00) Wie würdest du ... Open Podcasts bauen?


(00:03:35) Info/Werbung


(00:04:35) Wie würdest du ... Open Podcasts bauen?


(00:14:25) Die Produkt-Fragen: Was muss berücksichtigt werden?


(00:25:16) Daten anfragen, vereinheitlichen und die Message Queue


(00:41:23) Security: Wie speicherst du Zugangsdaten? Wie machst
du Backups?


(00:49:08) Monitoring und Continuous Integration (CI)/Continuous
Delivery (CD)


(00:52:28) Wie wurde das Produkt gebaut?



Hosts

Wolfgang Gassler (https://gassler.dev) 

Andy Grunwald (https://andygrunwald.com/)




Community

Diskutiere mit uns und vielen anderen Tech-Spezialist⋅innen in
unserer Engineering Kiosk Community unter
https://engineeringkiosk.dev/join-discord