#94: Plausibel heißt nicht richtig – Warum der Marktforschung die Benchmarks für KI-Analysen fehlen

In dieser Folge von #CXEinfachMachen wird es entspannt und
gleichzeitig methodisch tief: Sebastian berichtet von drei
intensiven Tagen auf der Sawtooth Software Conference in Berlin –
rund 80 ausgewählte Teilnehmer aus aller Welt, von Utah bis
Europa, und ein Programm voller aktueller Methodik-Trends. Daraus
entwickelt sich mit Lukas eine spannende Diskussion über die
vielleicht wichtigste offene Frage der Branche: Woher wissen wir
eigentlich, ob ein KI-Ergebnis nicht nur plausibel klingt,
sondern auch stimmt?


Wir sprechen über:




Synthetische Daten & Digital Twins – warum das Boosten
kleiner Zielgruppen schon ganz gut funktioniert, vollständig
synthetische Panels (Ipsos, NIQ, Experimente aus Stanford und
Columbia) aber mehr Fragezeichen als Antworten liefern




Shapley Values statt Regression – wie „Rewards and
Penalties"-Analysen die Schwächen klassischer Treiberanalysen
umgehen und warum die Kombinations-Explosion bei vielen
Variablen jede Software an ihre Grenzen bringt




Driver CBC & adaptive Conjoints – wie SKIM Marken- und
Produktattribute in einem Modell zusammenbringt und was
hinter ACBC und „bespoke" Conjoints steckt




Die Idee eines CX-/Marktforschungs-Benchmarks – welche Tests
von Standardverkodung über Treiberanalyse bis Regression ein
LLM-Benchmark für die Branche enthalten müsste




Plausibel ≠ richtig – warum LLM-Ergebnisse überzeugend
wirken, aber kaum jemand sie gegen eine manuelle Berechnung
gegenprüft




Das Prompt-Repository-Problem – warum Research- und CX-Teams
ihre Prompts, anders als Developer, viel zu selten
dokumentieren und speichern




Die neue Rolle der Researcher – wenn Fachabteilungen ihre
Treiberanalysen während eines Meetings selbst bauen, wird das
Einordnen sinnvoller Methoden zur eigentlichen Aufgabe




Themenreine Modelle – warum Sales- und Service-Transkripte
nicht in einen Topf gehören und gutes Pre-Processing über die
Qualität der Analyse entscheidet




Auf das „Warum" hören – wie Lukas' Team aus dem eigenen
Kundenfeedback nicht ein Feature nach dem anderen baut,
sondern erst den eigentlichen Pain versteht und dann den
Lösungsraum öffnet




Außerdem: Lukas startet in vier Wochen Elternzeit (es wird also
fleißig vorproduziert), Sebastian kündigt sein kommendes Webinar
an – und beide spielen mit dem Gedanken, einen eigenen
LLM-Benchmark fürs Research direkt aus dem Podcast heraus
aufzusetzen. Holger, falls du das hörst… Viel Spaß beim
Reinhören!


Sebastian: https://www.linkedin.com/in/sebastian-syperek-cx-fit/


Lukas: https://www.linkedin.com/in/lukas-kauderer/


CXEinfachMachen: www.cxeinfachmachen.de


CXEinfachMachen - ein Podcast von Lukas Kauderer (CEO licili) und
Sebastian Syperek (Principal UX Research - Kaiser X Labs, eine
Tochtergesellschaft der Allianz). In 30-45-minütigen
Podcast-Folgen sprechen die beiden über grundlegende Themen rund
um die Customer Experience, zeigen Tools und Methoden der
Marktforschung auf und erzählen von ihren eigenen Erfahrungen.