#97 Metriken, Hypothesen und Fehler: A/B-Testing in der Praxis mit Philipp Monreal

Kontinuierliches Lernen mit Hilfe von Experimenten und
A/B-Testing


In vielen Diskussion geht es darum, welche Lösung die bessere ist
und einen größeren Impact hat. Viele Entscheidungen werden aus
dem Bauch heraus getroffen, obwohl gesagt wird, dass wir
datengetrieben arbeiten. Doch Daten und Ergebnisse sind oft nicht
vorhanden. Experimente mit A/B-Tests sind für solche Situationen
das Mittel der Wahl.


Hypothese aufstellen. Experiment umsetzen und durchführen.
Ergebnis evaluieren. Und das ganze wiederholen. Klingt
einfach.Experimentelles Mindset: Check. Doch wie macht man sowas
denn im Detail? Auf welche und wie viele Metriken schaut man
während eines Experiments? Wie lange darf es dauern? Kann ich das
ganze auch mit wenig Kunden und Traffic umsetzen? Was sind die
typischen Fehler beim A/B-Testing? Was ist ein p-Wert, eine
statistische Signifikanz, eine Power-Analyse, ein A/A-Test, der
Priming-Effekt?


Das und noch viel mehr in dieser Episode mit unserem Gast Dr.
Philipp Monreal.


Bonus: Ob A/B-Testing mit Podcast-Episoden-Titeln für normale
Podcast-Hosts möglich ist.





Das schnelle Feedback zur Episode:


(top)  (geht
so)





Feedback (gerne auch als Voice Message)


EngKiosk Community:
https://engineeringkiosk.dev/join-discord 

Email: stehtisch@engineeringkiosk.dev

Mastodon: https://podcasts.social/@engkiosk

Twitter: https://twitter.com/EngKiosk

WhatsApp +49 15678 136776






Gerne behandeln wir auch euer Audio Feedback in einer der
nächsten Episoden, einfach Audiodatei per Email oder WhatsApp
Voice Message an +49 15678 136776



Links

Dr. Philipp Monreal:
https://www.linkedin.com/in/dr-philipp-monreal-095a2648/

Sample Size Calculator:
https://www.evanmiller.org/ab-testing/sample-size.html

Buch “Trustworthy Online Controlled Experiments: A Practical
Guide to A/B Testing” von Ron Kohavi:
https://www.amazon.de/Trustworthy-Online-Controlled-Experiments-Practical/dp/1108724264

Andrew Gelman blog: https://statmodeling.stat.columbia.edu/

“A day in the life of Oscar the cat”:
https://core.ac.uk/download/pdf/31059034.pdf

Buch “Thinking, Fast and Slow” von Daniel Kahneman:
https://www.amazon.de/Thinking-Fast-Slow-Daniel-Kahneman/dp/0141033576

How Not To Run an A/B Test:
https://www.evanmiller.org/how-not-to-run-an-ab-test.html




Sprungmarken

(00:00:00) Intro


(00:01:01) Unser Gast: Philipp Monreal


(00:03:06) Experimenten in der Softwareentwicklung und das
experimentelle Mindset


(00:07:46) Hypothesengetriebene Entwickeln und die
Implementierung einer Lernkultur


(00:14:29) Metriken für Experimente und die Verteilung von Test-
und Kontrollgruppen


(00:26:45) Statistisches Rauschen, der p-Wert, die Nullhypothese
und statistische Signifikanz


(00:35:30) "Extraordinary claims, require extraordinary evidence"
und "Any figure that looks interesting or different is usually
wrong"


(00:41:49) Günstiges Testen im Tech-Bereich


(00:45:31) Mehrere Tests gleichzeitig durchführen


(00:49:57) Storytelling als Ergebnis-Präsentation und Kontrolle
der Daten


(00:58:00) Vorbereitung und Nachbereitung von Experimenten


(01:01:44) Lernen als wichtiger Faktor in der Organisation
Vermeidung von "Hippos"


(01:06:31) Podcast-Titel-Tests mit A/B-Testing



Hosts

Wolfgang Gassler (https://mastodon.social/@woolf)

Andy Grunwald (https://twitter.com/andygrunwald)




Feedback (gerne auch als Voice Message)

EngKiosk Community:
https://engineeringkiosk.dev/join-discord 

Email: stehtisch@engineeringkiosk.dev

Mastodon: https://podcasts.social/@engkiosk

Twitter: https://twitter.com/EngKiosk

WhatsApp +49 15678 136776