#89: Generative vs. Diskriminative KI in der Textanalyse – Warum ChatGPT bei der Themenfindung scheitert

In dieser Folge von #CXEinfachMachen tauchen Sebastian und Lukas
tief in ein Thema ein, das die Marktforschungs- und CX-Welt
bewegt: Wie gut funktioniert generative KI wirklich bei der
Textanalyse? Lukas stellt die Ergebnisse eines umfangreichen
Benchmarks vor, den licili seit drei Jahren kontinuierlich
aktualisiert – basierend auf über 3.000 echten
E-Commerce-Reviews, analysiert mit ChatGPT 5.2.


Wir sprechen über:




Drei Benchmark-Tests im Detail – Verkodung
zu vorgegebenen Themen, eigenständige Themenfindung und
Interpretation bereits vercodeter Daten




94 % Konsistenz bei der Klassifizierung –
Warum generative KI bei Ja/Nein-Zuordnungen hervorragend
abschneidet




Nur 52 % Reproduzierbarkeit bei
Themenfindung – Warum fünf identische Durchläufe
völlig unterschiedliche Ergebnisse liefern




Der Kaskadeneffekt – Wie Casual Language
Modeling durch die Vorhersage des nächsten Wortes minimale
Abweichungen kaskadiert




Architektur- statt Modellproblem – Warum
auch GPT-6 oder GPT-7 diese Limitierung nicht lösen werden




Reihenfolge-Effekt – Wie allein die
Sortierung der Daten die Ergebnisse um weitere 7 %
verschlechtert




Transparenz als Grundsatz – Warum es
erschreckend ist, wenn Anbieter nicht zeigen, welche
Verbatims hinter den Themen stecken




Praxis-Tipps – Kleine Batches, explizite
Codepläne und Beispielvercodungen als Schlüssel für bessere
Ergebnisse




Außerdem: Ein kurzer Rückblick auf die Succeet 2026, das neue
Podcast-Format mit Anke Schramm zu Behavioral Economics und
Sebastians kommendes SOR-Webinar zu AI Applications in CX
Research. Viel Spaß beim Reinhören!


Benchmark: https://ressourcen.licili.de/benchmarking


Sebastian: https://www.linkedin.com/in/sebastian-syperek-cx-fit/


Lukas: https://www.linkedin.com/in/lukas-kauderer/


CXEinfachMachen: www.cxeinfachmachen.de


CXEinfachMachen - ein Podcast von Lukas Kauderer (CEO licili) und
Sebastian Syperek (Principal UX Research - Kaiser X Labs, eine
Tochtergesellschaft der Allianz). In 30-45-minütigen
Podcast-Folgen sprechen die beiden über grundlegende Themen rund
um die Customer Experience, zeigen Tools und Methoden der
Marktforschung auf und erzählen von ihren eigenen Erfahrungen.