#89: ROC around the clock – Alles rund um Gütemaße für Klassifikationsmodelle

In dieser Episode des Data Science Deep Dive sprechen Mira und
Amit über Modellgütemaße für binäre und kategoriale
Zielvariablen. Sie erklären zentrale Kennzahlen wie Accuracy,
Precision, Recall, F1-Score, AUC und Log Loss und zeigen, welche
Vor- und Nachteile diese im praktischen Einsatz haben. Dabei geht
es auch um typische Herausforderungen, etwa bei unbalancierten
Daten oder der Wahl des richtigen Schwellenwerts. Anhand von
Beispielen aus Betrugserkennung, Medizin und Spam-Filtering wird
deutlich, warum die Wahl des passenden Gütemaßes immer vom
konkreten Use Case abhängt. Ergänzend geben sie Tipps zur
Interpretation von Modellergebnissen und zur Auswahl eines
geeigneten Hauptgütemaßes.


**Zusammenfassung**


Überblick über Modellgütemaße für binäre und kategoriale
Klassifikationsprobleme

Einordnung: Klassifikation basiert meist auf Scores bzw.
Wahrscheinlichkeiten und einem gewählten Schwellenwert

Konfusionsmatrix als Grundlage zur Berechnung vieler
Klassifikationsmetriken (TP, TN, FP, FN)

Accuracy als einfache Kennzahl – jedoch problematisch bei
stark unbalancierten Datensätzen

Precision, Recall und Spezifität zur Bewertung verschiedener
Fehlertypen und deren Kosten

F1-Score als harmonisches Mittel von Precision und Recall,
häufiges Hauptmaß bei unbalancierten Daten

AUC als schwellenwertunabhängige Bewertung der Trennfähigkeit
eines Modells

Log Loss zur Bewertung der vorhergesagten
Wahrscheinlichkeiten und als häufige Loss-Funktion beim
Modelltraining

Praktische Tipps: Wahl des Thresholds, Nutzung von
Benchmarks, Analyse von Subgruppen und ggf. Rekalibrierung von
Wahrscheinlichkeiten



**Links**


#83: Wie gut ist gut genug? Modellgütemaße richtig verstehen
https://www.podbean.com/ew/pb-8q2a8-19a0252

Wikipedia – Confusion Matrix:
https://en.wikipedia.org/wiki/Confusion_matrix

Wikipedia – Precision und Recall:
https://en.wikipedia.org/wiki/Precision_and_recall

Wikipedia – Receiver Operating Characteristic (ROC) / AUC:
https://en.wikipedia.org/wiki/Receiver_operating_characteristic

Wikipedia – Cross Entropy / Log Loss:
https://en.wikipedia.org/wiki/Cross_entropy

Scikit-learn Guide zu Klassifikationsmetriken:
https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics



Fragen, Feedback oder Themenwünsche? Schreibt uns gern an:
podcast@inwt-statistics.de