Startseite
Podcasts
Data Science Deep Dive Podcast
#68: CI/CD für Daten: Datenversionierung für stabile & nachvollziehbare Systeme

#68: CI/CD für Daten: Datenversionierung für stabile & nachvollziehbare Systeme

Data Science Deep Dive vor 1 Jahr

0:00

41:29

Daten(banken) versionieren – klingt maximal unsexy, spart aber
Stress im Deployment. Warum ohne Schema-Versionierung selbst
kleine Änderungen große Probleme verursachen und was ORMs, Flyway
oder Liquibase damit zu tun haben, erfahrt ihr hier. Daten
historisieren ist ein Must-have für Compliance,
Reproduzierbarkeit und Modellierung. Aber Achtung: Nicht jede
Lösung passt für jede Datenbank und den Live-Betrieb. Wir geben
Tipps, wie ihr eure Datenprodukte systematisch und effizient im
Griff behaltet.

**Zusammenfassung**

Schema-Versionierung ist essenziell, um Änderungen an
Datenbanken nachvollziehbar und reibungslos ins Deployment
einzubinden

Fehlende Versionierung kann zu kaputten Prozessen führen,
wenn Schema-Änderungen nicht dokumentiert und automatisiert
umgesetzt werden

Werkzeuge wie ORMs, Flyway oder Liquibase helfen dabei,
Änderungen an Datenbankschemata strukturiert zu verwalten

Historisierung von Daten ist für Compliance,
Reproduzierbarkeit und Modellierung entscheidend

Ansätze zur Datenhistorisierung: Append-only-Strategien vs.
System-Versionierung

Herausforderungen: Performance-Engpässe, hohe Pflegekosten
und Kompatibilitätsprobleme je nach Datenbank und Migrationstool

Best Practices: Versionierung systematisch einführen,
Automatisierung priorisieren und sicherstellen, dass Downgrades
funktionieren.

**Links**

#58: Arm, aber sexy: Data Warehousing at Scale ohne Budget
https://www.podbean.com/ew/pb-gywt4-1719aef

#52: In-process Datenbanken und das Ende von Big Data
https://www.podbean.com/ew/pb-tekgi-16896e4

#36: Der Data Mesh Hype und was davon bleibt
https://www.podbean.com/ew/pb-7er7v-15080c1

Flyway: https://www.red-gate.com/products/flyway/

Liquibase: https://www.liquibase.com/

Alembic (für SQLAlchemy):
https://alembic.sqlalchemy.org/en/latest/

MariaDB: https://mariadb.org/

ClickHouse: https://clickhouse.com/

Fragen, Feedback und Themenwünsche gern an
podcast@inwt-statistics.de