Startseite
Podcasts
Prompt und Antwort Podcast
182 - KV-Cache mit Heartbeats

182 - KV-Cache mit Heartbeats

Prompt und Antwort vor 2 Monaten

0:00

6:49

Wer einen Agenten wie Hermes, Pi oder OpenClaw betreibt, gibt ihm
bei jeder einzelnen Anfrage denselben System-Prompt mit —
Anweisungen, Handbücher, Werkzeugbeschreibungen, schnell über
25.000 Token. Und die Inferenzmaschine rechnet diesen Block jedes
Mal wieder durch, als hätte sie ihn noch nie gesehen. Eigentlich
gibt es dafür den Key-Value-Cache. In der Praxis, lokal und mit
mehreren Nutzern, löst er sich bei Platzmangel aber einfach in
Luft auf.

Also einfrieren? Geht nicht. In dieser Folge geht es darum, warum
das so ist — und wie man den Cache trotzdem dauerhaft warm hält.

Warum der Cache nach einem Rotationsprinzip arbeitet und wer
dabei zuerst rausfliegt: der Türsteher im vollen Club

Wie viel Speicher 25.000 Token wirklich belegen — deutlich
weniger, als die meisten schätzen

Der pragmatische Weg auf dem DGX Spark: Speicherpool
überdimensionieren und den Cache mit einem Heartbeat aus einem
einzigen Token am Leben halten

Der heimliche Cache-Killer: ein Proxy, der ein Leerzeichen
normalisiert und damit die Hashkette bricht

Warum das Auslagern auf den Hauptprozessor bei geteiltem
Arbeitsspeicher exakt nichts bringt

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte
stammen von uns.