Startseite
Podcasts
Data Science Deep Dive Podcast
#104: Treatment-Effekte messen: Was hat eine Maßnahme wirklich gebracht?

#104: Treatment-Effekte messen: Was hat eine Maßnahme wirklich gebracht?

Data Science Deep Dive vor 6 Tagen

0:00

41:23

Ob in der Entwicklungszusammenarbeit, im Online-Marketing oder
beim Pricing: Wer wissen will, was eine Maßnahme bewirkt hat,
steht vor dem Problem, dass sich immer nur eine Welt beobachten
lässt. In dieser Folge sprechen Mira und Amit darüber, wie sich
trotzdem ein belastbares Counterfactual konstruieren lässt und
warum Korrelation dafür nicht ausreicht. Sie gehen Studiendesigns
von RCTs über Difference-in-Differences, Regression Discontinuity
und Propensity Score Matching bis hin zu Instrumentvariablen,
Synthetic Control und Panel-Methoden durch. Außerdem geht es um
die Frage, welche Variablen in die Auswertung gehören, wie man
Ergebnisse auf Robustheit prüft und was
Dosis-Wirkungs-Beziehungen zusätzlich verraten. Ein Plädoyer
dafür, die Auswertung schon vor Beginn einer Maßnahme
mitzudenken.

**Zusammenfassung**

Das Kernproblem der Evaluation: Das Counterfactual ist
unbeobachtbar, und ein statistischer Zusammenhang belegt noch
keine Kausalität.

Vor jeder Analyse steht die Wirkkette: Ohne logisches
Verständnis, wie eine Maßnahme wirken soll, drohen falsche
Metriken, übersehene Einflüsse und schlechte Vergleichsgruppen.

Metriken sollten das messen, was wirklich zählt (z.B. Gewinn
statt Auslastung, CLV statt Click-Through-Rate), und die Frage
der Generalisierbarkeit gehört von Anfang an dazu.

RCTs und A/B-Tests gelten als Goldstandard, setzen aber eine
Poweranalyse vorab und eine saubere Auswertung voraus.

Wenn Randomisierung nicht möglich ist, helfen DiD, RDD,
Propensity Score Matching, Synthetic Control, Interrupted Time
Series oder Fixed-Effects-Modelle, je nach Datenlage und
Selektionsprozess.

Instrumentvariablen lösen das Problem unbeobachteter
Confounder wie Motivation, liefern aber nur einen lokalen Effekt
(LATE), und die Ausschlussrestriktion lässt sich nicht
statistisch testen.

In der Analyse gehören Confounder ins Modell, Mediatoren
nicht; Double ML, Causal Forests und Dosis-Wirkungs-Analysen
erweitern das Werkzeugset.

Robustheitschecks und eine Fehlerkultur, in der auch "wirkt
nicht" ein wertvolles Ergebnis ist, sind entscheidend für
glaubwürdige Evaluation.

**Links**

#73: Korrelation vs. Kausalität: Was braucht es für fundierte
Entscheidungen? https://www.podbean.com/ew/pb-xmeyy-18c0d20

#26: A/B-Testing: Erkenntnisse statt Bauchgefühl
https://www.podbean.com/ew/pb-6fzpj-143cfb1

Fragen, Feedback oder Themenwünsche? Schreibt uns gern an:
podcast@inwt-statistics.de