081 - Grundlagen: Bi-Gramm-Modelle

Der KI Gilde Podcast widmet sich den Grundlagen der Sprach-KI:
Bigrammodelle. Diese simplen Modelle gelten als
die Urväter heutiger Systeme und raten das nächste Wort rein
statistisch. Du erfährst, wie sie nur auf das
direkt davorstehende Wort schauen (das
„1-Wort-Gedächtnis“ oder die Markovannahme erster Ordnung). Wir
erklären das Training durch Zählen von
Wortpaaren (Bigrammzählung) und den notwendigen Trick
der Glättung (Smoothing), um das Problem der
Datenlücken und die Wahrscheinlichkeit Null für seltene
Kombinationen zu umgehen. Dieses Fundament hilft, die Komplexität
moderner KI besser einzuordnen.