182 - KV-Cache mit Heartbeats

Wer einen Agenten wie Hermes, Pi oder OpenClaw betreibt, gibt ihm bei jeder einzelnen Anfrage denselben System-Prompt mit — Anweisungen, Handbücher, Werkzeugbeschreibungen, schnell über 25.000 Token. Und die Inferenzmaschine rechnet diesen Block jedes Mal wieder durch, als hätte sie ihn noch nie gesehen. Eigentlich gibt es dafür den Key-Value-Cache. In der Praxis, lokal und mit mehreren Nutzern, löst er sich bei Platzmangel aber einfach in Luft auf. Also einfrieren? Geht nicht. In dieser Folge geht es darum, warum das so ist — und wie man den Cache trotzdem dauerhaft warm hält. Warum der Cache nach einem Rotationsprinzip arbeitet und wer dabei zuerst rausfliegt: der Türsteher im vollen Club Wie viel Speicher 25.000 Token wirklich belegen — deutlich weniger, als die meisten schätzen Der pragmatische Weg auf dem DGX Spark: Speicherpool überdimensionieren und den Cache mit einem Heartbeat aus einem einzigen Token am Leben halten Der heimliche Cache-Killer: ein Proxy, der ein Leerzeichen normalisiert und damit die Hashkette bricht Warum das Auslagern auf den Hauptprozessor bei geteiltem Arbeitsspeicher exakt nichts bringt Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.