Startseite
Podcasts
LAIer 8|9 - Noch'n KI-Podcast Podcast
Dein Kontextfenster ist kein Benzintank – Sweet Spots, RAG & Workflow-Design

Dein Kontextfenster ist kein Benzintank – Sweet Spots, RAG & Workflow-Design

LAIer 8|9 - Noch'n KI-Podcast vor 6 Monaten

0:00

44:42

Warum ist nicht egal, wie viel ihr in euer Kontextfenster kippt?
Und warum ist RAG alles andere als tot? Jochen hat eine Kollegin,
die 70 Seiten Buchmanuskript ins Kontextfenster schmeißt – und sich
wundert, dass ihr Limit bis Dienstag aufgebraucht ist. Barbara
erklärt, warum der Sweet Spot bei 130.000 bis 150.000 Token liegt,
was hinter Needle in the Haystack und Lost in the Middle steckt,
und warum PDFs aus der Hölle kommen. Außerdem: Warum eure Corporate
Tools weniger können als Consumer-Chatbots, warum SharePoint kein
Data Lake ist (auch wenn ihr ihn so benutzt), und warum die
eigentliche Arbeit nicht im Bauen liegt, sondern im Whiteboarding.
Spoiler: Das Problem sitzt vor dem Rechner. Und die Faulheit kostet
Arbeitsplätze – nicht die KI.