Startseite
Podcasts
Data Science Deep Dive Podcast
#82: Monitoring in MLOps: Tools, Tipps und Best Practices aus der Praxis

#82: Monitoring in MLOps: Tools, Tipps und Best Practices aus der Praxis

Data Science Deep Dive vor 11 Monaten

0:00

44:02

Wie behält man eigentlich den Überblick, wenn Data Science
Services in Produktion laufen? In dieser Folge sprechen Sebastian
und Michelle darüber, wie man einen sinnvollen Monitoring-Stack
aufsetzt – von Logs und Metriken bis hin zu Alerts und
Dashboards. Wir schauen uns Tools wie Prometheus, Grafana, Loki
und ELK an und klären, worin sie sich unterscheiden. Außerdem
geht's um Best Practices fürs Alerting, sinnvolle
Feedbackschleifen und die Frage, wann und wie man Monitoring in
den Entwicklungsprozess integriert.

**Zusammenfassung**

Ziel von Monitoring: schnelle Feedbackschleifen zwischen
Entwicklung und Produktion

Unterschied zwischen CI/CD und Monitoring, letztere liefert
Feedback nach dem Deployment

Planung des Monitorings idealerweise schon bei der
Architektur berücksichtigen

Überblick über Monitoring-Ziele: Services, Infrastruktur,
Daten, Modelle

Vergleich Cloud vs. Self-Hosted Monitoring (Aufwand,
Flexibilität, Kosten)

Wichtige Tools: Prometheus/Grafana/Loki, ELK-Stack,
Nagios/Icinga/Zabbix, Great Expectations, Redash/Metabase

Best Practices fürs Alerting: sinnvolle Schwellenwerte,
Vermeidung von "Alert Fatigue", klare Zuständigkeiten

Fazit: Monitoring braucht klare Ziele, sinnvolle Alerts und
gute Visualisierung, um echten Mehrwert zu liefern

**Links**

#23: Unsexy aber wichtig: Tests und Monitoring
https://www.podbean.com/ew/pb-vxp58-13f311a

Prometheus – Open-Source Monitoring-System:
https://prometheus.io

Grafana – Visualisierung von Metriken und Logs:
https://grafana.com

Loki – Log-Aggregation für Grafana:
https://grafana.com/oss/loki/

ELK Stack (Elasticsearch, Logstash, Kibana):
https://www.elastic.co/elastic-stack

Great Expectations – Datenvalidierung und Monitoring:
https://greatexpectations.io

Redash – SQL-basierte Dashboards und Visualisierungen:
https://redash.io

Metabase – Self-Service BI-Tool: https://www.metabase.com

Nagios – klassisches System-Monitoring-Tool:
https://www.nagios.org

Icinga – moderner Nagios-Fork: https://icinga.com

Zabbix – Monitoring-Plattform für Netzwerke & Server:
https://www.zabbix.com

Prometheus Alertmanager:
https://prometheus.io/docs/alerting/latest/alertmanager/

PagerDuty – Incident Response Management:
https://www.pagerduty.com

Fragen, Feedback oder Themenwünsche? Schreibt uns gern an:
podcast@inwt-statistics.de