006 - Kontextfenster

Die Illusion des Riesengedächtnisses: Warum LLMs in
langen Kontexten "Lost in the Middle" sind und was der
NoLiMa-Benchmark enthüllt


Large Language Models (LLMs) werben mit immer größeren
Kontextfenstern von Hunderttausenden oder gar Millionen von
Tokens. Doch können sie all diese Informationen auch effektiv
nutzen? Neue Forschung, insbesondere zum "Lost in
the Middle"-Problem (LITM), zeigt: LLMs haben oft
Schwierigkeiten, Informationen in der Mitte eines langen Kontexts
so gut zu verarbeiten wie solche am Anfang oder Ende.


Der neue NoLiMa-Benchmark (No Literal
Matches) geht noch weiter. Statt einfacher
"Needle-in-a-Haystack"-Tests mit wörtlichen Übereinstimmungen,
verlangt NoLiMa latentes Schließen und mehrstufiges
Reasoning über lange Distanzen. Die Ergebnisse sind
ernüchternd: Selbst Top-Modelle zeigen dramatische
Leistungseinbußen bei zunehmender Kontextlänge,
wenn diese komplexeren Aufgaben gefragt sind. Das suggeriert,
dass die nominellen Fenstergrößen die tatsächliche Fähigkeit zum
Verständnis über lange Strecken überschätzen.


Was bedeutet das für die Praxis? Sehr lange Prompts
sind nicht immer besser und können sogar
kontraproduktiv sein, da wichtige Infos im "mittleren" Bereich
verloren gehen können. Retrieval-Augmented
Generation (RAG)-Systeme, die gezielt relevante
Informationen abrufen, gewinnen dadurch an Bedeutung. Auch
für LLM-Agenten sind die
Kontextlimitationen eine große Herausforderung für Gedächtnis und
Planung.


In dieser Folge beleuchten wir die Grenzen der
LLM-Kontextfenster, das LITM-Problem, die Erkenntnisse des
NoLiMa-Benchmarks und diskutieren Strategien, wie man trotz
dieser Limitationen das Beste aus LLMs herausholt – von klugem
Prompt Engineering bis hin zu RAG und alternativen Architekturen.
Denn die effektive Nutzung, nicht nur die
Größe, zählt