Wenn die KI-Modelle ohnehin jede Woche besser werden, warum sind
ihre Antworten dann nicht automatisch verlässlicher? Und woran
erkennen wir eigentlich, ob eine Antwort stimmt, wenn sie in
jedem Fall überzeugend klingt?
In dieser Folge nehme ich mir eine Frage vor, die mir in
Gesprächen immer wieder begegnet: Brauchen wir Technologien wie
Retrieval-Augmented Generation (RAG) überhaupt noch, wenn die
Modelle ständig dazulernen? Manche halten RAG inzwischen für eine
Technologie von gestern. Mich hat diese Frage auf eine viel
grundsätzlichere gebracht. Was kann eine KI über unser
Unternehmen eigentlich wissen?
Ich spreche darüber, was Benchmarks über die Verlässlichkeit von
Sprachmodellen verraten und wo man ihre Zahlen besser nicht
überinterpretiert. Denn ob eine Antwort sicher klingt, sagt wenig
darüber, ob sie stimmt.
Danach bleibe ich bei einem Bildungsanbieter, der einen KI-Tutor
für seine Studierenden bauen möchte. Hunderte Studienhefte,
Modulbeschreibungen und Prüfungsordnungen, vieles davon nicht
öffentlich. Woher soll ein Sprachmodell wissen, was darin steht
und welche Fassung gerade gilt?
An dieser Stelle kommt RAG ins Spiel, und ich erkläre ohne
Fachjargon, wie das funktioniert: erst die passenden Quellen
suchen, dann antworten. Richtig interessant wird es bei den
Inhalten selbst. „Die haben wir alle als PDF“, höre ich oft.
Klingt erstmal beruhigend. Bis eine Tabelle beim Extrahieren
auseinanderfällt, ein farbig hinterlegter Merksatz zu
gewöhnlichem Fließtext wird oder eine Prüfungsfrage in einem
anderen Textabschnitt landet als ihre Musterantwort.
Es geht also auch darum, warum strukturierte Inhalte wie XML hier
so viel ausmachen. Und ob riesige Kontextfenster das alles bald
überflüssig machen. Ganz so einfach ist es nicht, Stichwort „Lost
in the Middle“.
Eine Folge für alle in Verlagen und Bildungsorganisationen, die
ihre Inhalte für KI nutzen wollen und sich fragen, wo sie dabei
anfangen sollen. Kleiner Hinweis vorab: beim Sprachmodell eher
nicht.
Links zu erwähnten Studien:
AA-Omniscience: Knowledge and Hallucination Benchmark
Nelson F. Liu et al.: Lost in the Middle: How Language Models
Use Long Contexts
Zum Weiterhören: Episode 011 "File over App: Wie ein kleiner
Verlag digital souverän bleibt" mit Sven Nieder
Über Dr. Christina Lauer
Ich unterstütze Wissensorganisationen wie Verlage und
Bildungsunternehmen dabei, Content, Prozesse und Technologien fit
für das KI-Zeitalter zu machen – ohne die Menschen aus dem Blick
zu verlieren.
Mehr über mich auf meiner Website christina-lauer.de
Oder auf LinkedIn
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.