KI-Studien (05): Woher KI ihr Wissen hat

Wir werfen in dieser Folge einen Blick unter die Haube: Wie
entsteht eigentlich ein Sprachmodell – und woher nimmt es sein
„Wissen"? In vier Schritten geht es von den Rohdaten bis zum
fertigen Assistenten, und dabei wird klar, an welchen Stellen
sich Verzerrungen einschleichen und warum die sich nicht einfach
wegprogrammieren lassen. Eine Folge, die hilft, KI-Antworten
besser einzuordnen – und die zeigt, wann man ruhig mal genauer
hinschauen sollte.

Links zu den Studien aus der Episode:


Dodge et al. (2021): „Documenting the English Colossal Clean
Crawled Corpus.“ EMNLP 2021. Untersuchung des C4-Datensatzes
(Basis u. a. für Googles T5-Modell).  Zur Quelle


Dodge et al. (2021): „Documenting the English Colossal Clean
Crawled Corpus.“ EMNLP 2021. Geografie- und Filter-Befunde (u. a.
African American English zu 42 % gefiltert)  Zur Quelle


Moon et al. (2025): „Homogenizing effect of LLMs on creative
diversity.“ Drei präregistrierte Studien, 2.200 Bewerbungsessays.
(Hauptbefund Regression zur Mitte)


Sourati et al. (2025): „The Shrinking Landscape of Linguistic
Diversity in the Age of Large Language Models.“ Vier Studien,
mehrere Modelle. (Kreuzvalidierung: Homogenisierung des
Stils)  Zur Quelle


Kotek, Dockum, Sun (2023): „Gender bias and stereotypes in Large
Language Models.“ ACM Collective Intelligence Conference.
(Zuspitzung: Modelle wählen den stereotyp passenden Beruf 3–6×
häufiger)  Zur Quelle


Sharma et al. (2023): „Towards Understanding Sycophancy in
Language Models.“ Anthropic. (Grundlagenstudie zur Schmeichelei,
fünf Assistenten)  Zur Quelle


Fanous et al. (2025): „SycEval – Evaluating LLM Sycophancy.“
Stanford University.  Zur Quelle


Cheng et al. (2026): „ELEPHANT – Evaluation of LLMs as Excessive
Sycophants.“ Stanford / CMU / Oxford.


Santurkar et al. (2023): „Whose Opinions Do Language Models
Reflect?.“ ICML 2023. (Werte-/Meinungsverschiebung im
Post-Training)


Singhal, Goyal, Xu, Durrett (2023): „A Long Way to Go:
Investigating Length Correlations in RLHF.“ Format- und
Längen-Bias.  Zur Quelle


Bai et al. (2022): „Constitutional AI: Harmlessness from AI
Feedback.“ Anthropic. (Ursprung von RLAIF: KI bewertet KI)


OpenAI (2025): „Sycophancy in GPT-4o: What happened and what
we’re doing about it.“ OpenAI, Mai 2025. (Rückzug eines zu
schmeichlerischen Modell-Updates)


Dastin, J. (2018): „Amazon scraps secret AI recruiting tool that
showed bias against women.“ Reuters.


KI-Kompetenz-Center der Bundesverwaltung / Bundesdruckerei
(2025): „MÖVE – Modelle für die Öffentliche Verwaltung
Evaluieren.“ Präsentation, IT-Planungsrat Fachkongress 2025.
(ausdrücklich vorläufige Ergebnisse) MÖVE | Startseite


Passend zum Weiterhören:


PROMPTgenau "KI-Studien (04): KI und Frauen: Nutzung, Macht und
Vorurteile". Vertieft die Verzerrung von der menschlichen Seite.


Hinweis: Mehrere Befunde stammen aus Preprints bzw. laufender
Forschung und sind als Momentaufnahme zu verstehen. Wo kein
direkter Link angegeben ist, lässt sich die Quelle über Titel und
Autor:innen recherchieren.