Prompt und Antwort

KI-Gilde

Ein KI-generierter Podcasts rund um die Entwicklung von und mit KI. News, Updates und interessante Hintergrundinformationen für den professionellen Einsatz von KI hinaus. Ohne Hype und Buzzwords.

Die KI-Gilde ist ein Angebot der YnotBetter UG.

Play

Open in

45 episodes
a few times a week
Avg 8 min
German

Episodes 45

Newest Oldest Longest

All20 Unplayed20 In progress0 Played0

Counted on this page — what you have heard stays on this device, so it is not something the list can be paged by.

S1 · E204
Yesterday · 9 min
204 - EmbeddingGemma 2
Ein Embedding-Modell macht aus einem Foto 768 Zahlen und kann diese Zahlen nicht wieder in Worte zurückübersetzen. Wir wollten trotzdem wissen, was in so einem Bild-Vektor steckt. Mit EmbeddingGemma 2 von Google, einem Foto aus einem öffentlichen Datensatz und einer Methode, die nur misst und nie zurückrechnet, haben wir versucht, die Bedeutung des Bildes wieder herauszulesen. Das klappt erstaunlich gut, aber nicht überall. Warum ein Embedding-Modell keinen Rückweg kennt und wie man mit Raten und Prüfen trotzdem Wörter aus einem Vektor gewinnt Beam-Suche über 30.000 Wörter und ein kleines Sprachmodell, das das Bild nie sieht, aber für die Grammatik sorgt Die Modalitätslücke: Warum fast jeder Text einem Bild schon „nah“ ist und weshalb wir jeden Wert gegen eine Grundlinie lesen Ein Vektor als Mischung: Zutaten zerlegen und einzelne Dinge herausrechnen Wie aus Kacheln und Tokens am Ende ein einziger Vektor wird, und was beim Mitteln verloren geht Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E203
Friday · 9 min
203 - Memory im Überblick
Was du einem Agenten heute beibringst, weiß er morgen nicht mehr. In unserer Agentenreihe beginnt das Thema Gedächtnis, und wir fangen mit dem Überblick an: Warum braucht ein Agent überhaupt ein eigenes Memory-System, und warum gibt es dafür so verschiedene Lösungen? Grundlage sind neun Gedächtnissysteme aus der Community, die wir uns für die DeepSeek Harness direkt im Quellcode angesehen haben. Warum Verlauf und Regeldateien nicht reichen, und woran du merkst, dass deinem Agenten ein Gedächtnis fehlt Fünf Schichten von Gedächtnis: Regeln, Nutzerprofil, Projektwissen, Episoden und Wissenssammlung – und wie viel davon immer im Kontext liegen sollte Die Muster im Vergleich: das Notizbuch, das das Modell selbst führt, die automatische Destillation mit Dream, Honcho als externer Beobachter, der Suchindex über alte Gespräche und das LLM-Wiki nach Andrej Karpathy Drei Fragen, nach denen sich jedes System sortieren lässt: Verhalten oder Wissen? Wer schreibt? Und läuft es mitten in der Sitzung oder parallel daneben? Was ein Gedächtnis im Kontext kostet und warum es eine Rolle spielt, ob Erinnerungen im System-Prompt oder als eigene Nachricht landen Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E202
Wednesday · 10 min
202 - RAG und Co.
RAG, GraphRAG, LightRAG, OpenRAG, LoRA, QLoRA – und wie bringe ich eigene Dokumente in die KI? Diese Frage kam als Hörerwunsch bei uns an. Wir spielen sie an einem Maschinenbauer durch, dessen Servicetechniker einen Assistenten bekommen sollen, der aus Handbüchern und Serviceberichten antwortet. Am Ende kannst du jeden dieser Begriffe einordnen. Warum „alle Dokumente ins Chatfenster“ scheitert: begrenztes Kontextfenster, Kosten und Tempo, Lost in the Middle, Rechte und Aktualität Wie RAG in vier Schritten funktioniert: Chunking, Embeddings und Vektordatenbank, Retrieval, Antwort mit Quellenangabe – und warum die meisten Fehler bei der Suche entstehen Die Begriffe auf vier Ebenen: das Prinzip, Varianten wie Hybrid Search, Reranking, GraphRAG, LightRAG und Agentic RAG, fertige Produkte wie OpenRAG – und was gar kein RAG ist Fine-Tuning mit LoRA und QLoRA gegen RAG: Das eine gibt dem Modell Verhalten, das andere Wissen Wann Long Context mit Zwischenspeicher (CAG) die einfachere Lösung ist Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E201
October 12 · 9 min
201 - Strata
Eine Inferenz-Engine, die genau ein Modell ausführen kann: Strata bringt Qwen 3.8 Flash Next mit 125 Milliarden Parametern auf einen normalen Spiele-PC mit einer Grafikkarte ab 12 Gigabyte. Wir spielen das an einem Entwickler durch, der seinen Coding-Agenten auf einer RTX 4090 lokal laufen lassen will, statt seinen Code in die Cloud zu schicken. Und wir fragen, ob der Trend weg vom Allzweck-Server wie Ollama hin zur maßgeschneiderten Engine trägt. Wie Strata das Modell auf drei Ebenen verteilt: die meistgenutzten Experten im Grafikspeicher, alle im Arbeitsspeicher, die Nachschlagetabelle auf der SSD Was anders ist als bei llama.cpp und was unabhängige Messungen zeigen: 63 statt 23 Token pro Sekunde auf 12 Gigabyte, gleiche Ergebnisse bei Rechen- und Code-Aufgaben Wie weit man die Engine anpasst: Paketgröße, Kontext, parallele Plätze, das Überspringen seltener Experten, Sampling und Forks bis hin zu zwei PCs im Heimnetz Wo es bricht: unbelegte Qualität bei langen Agentenaufgaben, Antworten, die bei Temperatur null nicht gleich bleiben, und eine Engine, die an einem Vorschau-Modell hängt Für wen es sich lohnt und für wen nicht: Team-Server, viele Modelle, DGX Spark und Mac Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E200
October 9 · 10 min
200 - Warum Tool Calling kippt
89 Prozent, wenn ein Modell ein einzelnes Werkzeug aufrufen soll. 45 Prozent, wenn dasselbe über mehrere Runden geht. In der letzten Folge ging es darum, wie Tool Calling funktioniert, diesmal darum, warum es im Alltag so oft nicht glatt läuft. Unser Beispiel ist ein Support-Agent, der Tickets liest, in der Kundendatenbank nachsieht und in einfachen Fällen eine Erstattung auslöst. MCP-Server gegen Kommandozeile: bekannte Shell-Befehle gegen ein fremdes JSON-Schema, und wer bestimmt, wie viel im Verlauf landet Was alles ein Werkzeug ist, vom Menschen, den man fragt, bis zum Subagenten, und warum Sicherheit eine Entscheidung im Harness ist und keine Eigenschaft des Modells Tool-Scheu: „Ich schaue mir die Bestellung mal an“, und dann kommt nichts. Warum das nach dem vierzigsten Ticket häufiger passiert als nach dem ersten Messen mit dem Berkeley Function Calling Leaderboard und Tau-Bench, und warum man solchen Zahlen nur mit Vorsicht trauen sollte Ausblick: FunctionGemma, ein Modell mit 270 Millionen Parametern, das nur für Werkzeugaufrufe gebaut ist Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E199
October 7 · 9 min
199 - Kolibri im Test
„Wir haben viel in Stil, Grammatik und deutsches Denken gesteckt. Dinge, die in keinem Benchmark auftauchen.“ So beschreibt das Team von Aleph Alpha sein neues Modell Kolibri, seit dem 3. Oktober mit offenen Gewichten frei verfügbar und bewusst nur für Deutsch und Englisch gebaut. Wir haben es auf einem DGX Spark laufen lassen und eine Frage gestellt: Schreibt ein Modell, das für Deutsch gebaut ist, auch besseres Deutsch, mit weniger KI-Slop? Mixture of Experts: 78 Milliarden Parameter, pro Token rechnen nur 3,5 Milliarden. Warum Kolibri deshalb schnell ist und den Spark trotzdem fast allein belegt Rechnen gegen Wissen: 50 von 50 Mathe-Textaufgaben, aber weniger Allgemeinwissen als Qwen 3.8, ein erfundener Nobelpreis und ein Dienstag, der zum Mittwoch wurde Der Tokenizer: 27 Prozent weniger Token für Behördendeutsch, 41 Prozent für lange Komposita, Englisch gleichauf. Wo man das Deutsche wirklich merkt Die Schreibproben: Leichte Sprache, ein Gedicht im Stil von Wilhelm Busch, Sächsisch und Doppel-s statt Eszett Wofür wir Kolibri einsetzen würden und was mit einem Modell, das keine Woche alt ist, noch offen ist Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E198
October 5 · 8 min
198 - Claude Code Mods
Bis letzte Woche konnte man den Coding-Agenten von Anthropic bitten, sich an eine Regel zu halten. Seit dem 1. Oktober kann man ihn zwingen: mit Mods, kleinen TypeScript-Modulen, die sich in fast jeden Schritt des Agenten einklinken. Selbst gebaut hatten wir noch keinen, also haben wir den Agenten gebeten, einen für sich selbst zu bauen. Wie Mods technisch funktionieren: Ereignisse, eine Kette von Funktionen und `next`. Was man vorher umschreiben, nachher auswerten oder ganz ersetzen kann, und wie sich das von der Datei mit den Projektregeln, von klassischen Hooks und von Plugins unterscheidet Ist das derselbe Weg wie beim DeepSeek Harness, in dem alles ein Plugin ist? In der Richtung ja, im Prinzip nein Unser Test: ein Schwärzer, der IBANs, E-Mail-Adressen und API-Schlüssel ersetzt, bevor das Modell sie sieht. 58 Zeilen, zwei grüne Tests, und trotzdem nicht ganz das, was er zu sein scheint Keine Sandbox: was ein Mod alles darf und warum wir das für ehrlich halten Was man damit künftig baut: den Firmen-Mod statt der Datenschutzschulung, einen Kostenwächter, einen Leitstand, der nicht mehr wie ein Chat aussieht. Und welches Risiko bei Mods aus fremden Quellen mitkommt Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E197
October 2 · 6 min
197 - Tool Calling
Unser Agent sollte in einer Datei einen Eintrag ergänzen. Hinterher stand genau einer drin: der neue. In Stufe vier unserer Agentenreihe geht es um Tool Calling, bei manchen Anbietern Function Calling genannt, also darum, wie ein Modell Werkzeuge benutzt. Und um die Frage, wer diese Datei eigentlich überschrieben hat. Die Grundmechanik: Der Harness gibt dem Modell eine Liste von Werkzeugen mit, jeweils Name, Beschreibung und Parameterschema. Was nicht in der Liste steht, existiert für das Modell nicht Das Modell entscheidet in jeder Runde zwischen Antwort und Tool-Call. Es führt nichts aus, es äußert einen Wunsch, ausführen tut der Harness Die Schleife: Ergebnis an den Verlauf, alles zurück ins Modell, bis eine normale Antwort kommt. Hier wird aus einem Chatbot ein Agent, und jedes Ergebnis kostet in jeder weiteren Runde Kontext Werkzeugbeschreibungen sind Prompt: Warum ein Werkzeug namens „Suchen“, das nur im Wiki sucht, für jede Suche genommen wird, und warum acht gut beschriebene Werkzeuge mehr bringen als vierzig halbgare Als Nächstes in der Reihe: warum Tool Calling in der Praxis kippt. Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E196
September 30 · 9 min
196 - DeepSeek Harness
DeepSeek hat diesmal kein neues Modell veröffentlicht, sondern die Software drumherum: DeepSeek Harness, eine quelloffene Laufzeitumgebung für Agenten, in der alles ein Plugin ist. Das Modell, die Werkzeuge, die Agentenschleife und sogar der System-Prompt. Wir haben den Slogan ernst genommen und nachgeschaut, was er technisch heißt, durchgespielt an unserem eigenen Agenten Kuno, der im Terminal, über WhatsApp und über einen kleinen Roboter antwortet und eine neue Fähigkeit bekommen soll. Was das Harness ist: MIT-Lizenz, Developer Preview, gebaut auf dem Plugin-Framework Cordis in TypeScript, und nicht an ein Modell von DeepSeek gebunden Der Plugin-Vertrag: Name, benötigte Dienste, Startfunktion. Abhängigkeiten statt Reihenfolge, und jede Anmeldung wird beim Entladen von selbst zurückgenommen Der System-Prompt als Sammlung benannter Abschnitte, bei jeder Anfrage neu zusammengesetzt, global oder je Agent, mit Protokoll für das Audit Eine Fähigkeit als ein Paket aus Werkzeug, Prompt-Abschnitt und Regel, das sich zur Laufzeit nachladen lässt. Und was das am Caching kostet Ein Agent, der je Kanal anders antwortet, mit einem einzigen Plugin Nachladen nach Bedarf und das Kanal-Plugin sind unsere eigenen Entwürfe, nicht aus der Dokumentation. Als Nächstes bauen wir das Kanal-Plugin für Kuno mit einem lokalen Modell nach. Zum Nachlesen: DeepSeek Harness auf GitHub: https://github.com/deepseek-ai/deepseek-harness Cordis Primer: https://github.com/deepseek-ai/deepseek-harness/blob/master/docs/cordis-primer.md Subsystem-Doku System-Prompt: https://github.com/deepseek-ai/deepseek-harness/blob/master/docs/subsystems/system-prompt.md Extension Cookbook: https://github.com/deepseek-ai/deepseek-harness/blob/master/docs/cookbook/extension-cookbook.md Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E195
September 28 · 8 min
195 - OpenWork
Claude Cowork arbeitet mit den Modellen von Anthropic, und mit keinen anderen. OpenWork ist das quelloffene Gegenstück: eine Desktop-App auf OpenCode, bei der du das Modell selbst aussuchst, per Schlüssel eines großen Anbieters oder lokal. Wir haben es selbst noch nicht benutzt, die Folge ist ein erster Blick anhand von Herstellerangaben, Dokumentation und den Diskussionen der Entwickler. Durchgespielt an einer Aufgabe, die jedes Büro kennt: dem Bericht am Montagmorgen. Was OpenWork technisch ist: eine Oberfläche für Mac, Windows und Linux, darunter arbeitet OpenCode Geplante Aufgaben: ein normaler Satz wird zur Auftragsdatei, gestartet vom Zeitplaner des Betriebssystems. Was passiert, wenn der Rechner aus ist oder der Agent eine Rückfrage hätte Datenbank über MCP und die Übersichtsseite als Artefakt neben dem Gespräch. Und die zwei Funktionen, die laut Hersteller noch fehlen Vom einen Rechner zum Team: was man hostet und was nicht, Docker oder gehostet (fünf Plätze frei, danach zehn Dollar je Platz im Monat), und warum die Lizenz einen zweiten Blick lohnt Daten im Haus gibt es nur mit lokalem Modell. Was das für den Vergleich mit Cowork bedeutet Wir wollen unseren eigenen Ablauf in OpenWork nachbauen und suchen dafür echte Fälle: Was gebt ihr Cowork heute zu tun, und hat jemand OpenWork schon laufen? Schreibt uns per Mail, über WhatsApp oder in die Kommentare. Zum Nachlesen: OpenWork, Projekt und Quellcode: https://github.com/different-ai/openwork OpenWork, Herstellerseite mit Vergleichstabelle und Preisen: https://openworklabs.com/ Selbst hosten, Dokumentation: https://openworklabs.com/docs/start-here/self-host Der Scheduler für geplante Aufgaben: https://github.com/different-ai/opencode-scheduler OpenCode: https://opencode.ai Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E194
September 25 · 10 min
194 - Der System-Prompt
Wer sich in einer Klick-Oberfläche einen eigenen Agenten baut, wählt ein Modell aus und schreibt einen Text in ein Feld. Für die meisten ist dieser Text der Agent. Technisch ist er ein einzelner Parameter im Aufruf, und aus unserer Sicht das langweiligste Stück am ganzen Harness. Stufe drei unserer Agentenreihe: was der System-Prompt wirklich ist, was die großen Coding-Agenten hineinschreiben, und warum zehn Rollentexte noch keine Firma ergeben. Eine eigene Rolle mit Vorrang, die bei jedem Aufruf ganz vorne mitgeht: bei Anthropic ein eigenes Feld vor der Nachrichtenliste, bei OpenAI die Rollen system und developer. Der Vorrang ist trainiert, kein Schloss System-Prompt ist nicht Tool Calling. Vier Bausteine, vier Fragen: Wer bin ich und wie arbeite ich? Was kann dieses Werkzeug? Was ist bisher passiert? Was ist jetzt die Aufgabe? Was bei Claude Code drinsteht, seit der Quellcode versehentlich öffentlich wurde: ein Baukasten aus Dutzenden bedingten Teilen, die Cache-Grenze, Zahlen statt Adjektive. Und das Gegenmodell Pi von Mario Zechner, unter 1.000 Token inklusive Werkzeuge Die Vergleichsstudie von Drew Breunig und Srihari Sriraman: gleicher Harness, gleiches Modell, nur der System-Prompt getauscht. Einmal methodisch, einmal iterativ, beide lösen die Aufgabe Ein System-Prompt ist ein Wunsch, keine Garantie. Warum die KI-Firma aus CEO-, CTO- und Marketing-Agent in der Praxis nicht funktioniert: Eine Berkeley-Studie über 1.600 Arbeitsprotokolle misst 41 bis 87 Prozent Fehlerquote, und das Modell ist fast nie der Grund Was in den System-Prompt gehört und was nicht. Die Experimente dazu stehen auf building-agents.com, Block 1, Kapitel 3 Zum Nachlesen: Drew Breunig, How Claude Code Builds a System Prompt: https://www.dbreunig.com/2026/04/04/how-claude-code-builds-a-system-prompt.html Drew Breunig und Srihari Sriraman, How System Prompts Define Agent Behavior: https://www.dbreunig.com/2026/02/10/system-prompts-define-the-agent-as-much-as-the-model.html Mario Zechner, What I learned building an opinionated and minimal coding agent: https://mariozechner.at/posts/2025-11-30-pi-coding-agent/ Claude-Code-Prompt-Historie, Version für Version: https://cchistory.mariozechner.at Cemri, Pan, Yang u. a., Why Do Multi-Agent LLM Systems Fail? (UC Berkeley): https://arxiv.org/abs/2503.13657 Unsere Experimente zum Agentenbau: https://building-agents.com Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E193
September 23 · 8 min
193 - Dokumente schwärzen
Ein Klick, und alle persönlichen Daten sind aus dem Dokument verschwunden, so steht es bei den Anbietern. Wir haben in einem Projekt Akten aus der Immobilienverwaltung geschwärzt, bevor sie weitergegeben werden durften, und die kamen nicht als saubere PDFs, sondern als Fotos aus aufgeklappten Ordnern. Ein Erfahrungsbericht darüber, was die Werkzeuge gut können, an welchen ganz normalen Stellen sie nicht anschlagen, und wie daraus eine Pipeline in mehreren Durchläufen wurde. Schwärzen sind zwei Aufgaben: finden und entfernen. Warum ein schwarzes Rechteck über dem Text kein Schwärzen ist Je Datentyp eine Methode: Muster mit Prüfsumme für IBAN und E-Mail, Eigennamen-Erkennung für Namen und Adressen, ein Bildmodell für den Rest. Presidio als Rahmen, GLiNER für eigene Kategorien Bei Fotos der Umweg über die Texterkennung: jedes Wort ein Kästchen, die Fundstelle wird zurück aufs Bild gerechnet Die Fälle, die durchgerutscht sind: eine E-Mail-Adresse ohne Punkt vor der Endung, eine IBAN mit Zeilenumbruch in der Fußzeile Die Pipeline in Zyklen: erst die schnellen Erkenner, dann ein lokales Bildmodell als Kontrolleur, und alles zurück in den nächsten Durchlauf. Warum die Treffer vereinigt werden, nicht geschnitten Von gefühlt siebzig auf knapp hundert Prozent, und was diese Zahl wert ist, wenn sie nur aus Stichproben stammt Zum Nachlesen: Microsoft Presidio: https://github.com/microsoft/presidio GLiNER, Eigennamen-Erkennung mit eigenen Kategorien: https://github.com/urchade/GLiNER PyMuPDF, echtes Schwärzen in PDFs: https://pymupdf.readthedocs.io/ Desert Ant Labs mit dem Redact-Modell aus Folge 190: https://desertant.com/de/ Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E192
September 21 · 10 min
192 - Jev: Entscheiden statt schreiben
Mitte September hat das Start-up TypeSafe ein Modell namens Jev vorgestellt, das keinen einzigen Satz schreiben kann. Es kann nur entscheiden: eine von mehreren Möglichkeiten auswählen, auf einer Skala einstufen oder zu einer Ja-Nein-Frage eine Wahrscheinlichkeit liefern. Wir spielen das an zwei Fällen durch, am Support-Postfach eines Mittelständlers und an einem Agenten, der fremde Texte liest. Ausprobiert haben wir es selbst noch nicht, und das sagen wir auch: Was in der Folge steckt, stammt aus der Dokumentation des Herstellers, aus einer unabhängigen Auswertung und aus einem offenen Nachbau. Wie so ein Entscheidungsmodell arbeitet: drei Fragetypen, mehrere Fragen in einem Aufruf, ein einziger Rechendurchlauf statt Wort für Wort Wie du ihm deine Regeln beibringst, obwohl es kein Training für Kunden gibt: als Beschreibung an jeder Antwortmöglichkeit, mit engen Teilfragen statt einer breiten Wann automatisch gehandelt wird und wann ein Mensch draufschaut: Schwellen auf der Sicherheit, gesetzt nach dem Preis eines Fehlers Prüfschritte im Agenten: vor dem großen Modell, bei der Werkzeugwahl und hinter der Antwort Wo es bricht: Es liest wörtlich, ein Datum ist für es nur Text, und trainiert ist es vor allem auf Englisch Echtes Anlernen mit eigenen Daten geht nur auf dem offenen Weg, und was dabei mit den Wahrscheinlichkeiten passiert Zum Nachlesen: TypeSafe, Ankündigung von Jev: https://typesafe.ai/blog/introducing-system-one-models-and-jev Dokumentation: https://docs.typesafe.ai/ Unabhängige Auswertung von Arize: https://arize.com/blog/typesafe-jev-llm-judge/ Offener Nachbau Simple Jev: https://github.com/featherless-ai/simple-jev Ein zweites offenes Modell, Laya: https://huggingface.co/convaiinnovations/laya Desert Ant Labs, das Thema von Folge 190: https://desertant.com/de/ Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E191
September 18 · 6 min
191 - Die Akte
Stufe zwei unserer Freitagsreihe zum Agentenbau: die Message History, also der Gesprächsverlauf. Das Sprachmodell fängt bei jedem Aufruf wieder bei null an. Dass ChatGPT trotzdem weiß, was du vor zehn Minuten geschrieben hast, liegt nicht am GPT, sondern am Chat, der Software drumherum. Wer selbst baut, bekommt dieses Gedächtnis nicht geschenkt, sondern muss sich darum kümmern. Unser Bild dafür ist der Schichtwechsel im Krankenhaus: Jede Ärztin kommt neu auf die Station und weiß über den Patienten genau das, was in der Akte steht. Warum der Chat in ChatGPT schon ein Harness ist, und warum das den wenigsten bewusst ist Die Liste mit den Rollen Nutzer und Assistent, die bei jedem Aufruf komplett mitgeht Speichern, wieder laden, mehrere Gespräche nebeneinander: den Verlauf ordentlich verwalten Ein Trick, den die wenigsten kennen: den Anfang der Antwort selbst vorgeben, etwa eine geschweifte Klammer für sauberes JSON Warum der Verlauf auch sicher verwaltet werden muss, und warum er mit jeder Runde wächst Die Experimente zur Folge findest du auf building-agents.com in Block 1, Kapitel 2. Nächsten Freitag geht es um den System-Prompt. Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E190
September 16 · 8 min
190 - Die Wüstenameise
Eine Video-App aus Amsterdam hatte eine Cloud-Rechnung, die sich alle sechzig bis neunzig Tage verdoppelte. Also hat das Team einen Dienst nach dem anderen durch eigene kleine Modelle ersetzt, die direkt auf dem Gerät laufen. Daraus ist letzte Woche Desert Ant Labs geworden, mit achtzehn Modellen auf einmal: je eines pro Aufgabe, gratis bis 100.000 Geräte, ohne Token-Kosten. Wir schauen uns an, welche davon Spaß machen, was man damit baut und was im Kleingedruckten steht. Warum eine Wüstenameise mit einem Gehirn kleiner als ein Stecknadelkopf besser zu diesen Modellen passt als das Kleinhirn aus dem Werbeslogan, und was Stelzen damit zu tun haben Die Lieblinge: Voz (zehn Minuten Audio in zwei Sekunden auf dem iPhone), Uhm (findet jedes Äh direkt im Ton) und ein Sprach-Erkenner, dem drei Wörter reichen Redact als Schwärzung, die sich zurückdrehen lässt: Kundendaten raus, Antwort aus der Cloud, echte Werte wieder rein, und warum das pseudonym und nicht anonym ist Schemer, das ein Formular lieber leer lässt, als etwas zu erfinden, und die Clip-Kette, die aus einer Folge die kurzen Ausschnitte schneidet Wie viele Aufrufe in Agentensystemen eigentlich ein großes Modell brauchen Zum Nachlesen: Desert Ant Labs: https://desertant.com/de/ Wie Detail seine Schnittfunktion aufs Gerät geholt hat: https://desertant.com/blog/detail-auto-edit-on-device/ NVIDIA, Small Language Models are the Future of Agentic AI: https://arxiv.org/abs/2506.02153 Die Ameise auf Stelzen (Wittlinger, Wehner, Wolf 2006): https://www.science.org/doi/10.1126/science.1126912 Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E189
September 14 · 8 min
189 - Qwen 3.8 Flash
Hundertachtzig Milliarden Parameter auf einem Kasten, der unter den Schreibtisch passt, und trotzdem gut vierzig Token pro Sekunde. Möglich macht das ein Bauteil aus der Frühzeit der Sprachmodelle: Qwen3.8-Flash-Next, laut Qwen die Vorschau auf die Architektur von Qwen 4, trägt neben seinen Experten eine N-Gramm-Tabelle mit 51 Milliarden Parametern. Das Modell schlägt dort nach, statt zu rechnen. Wir erklären, wie das funktioniert, warum die Tabelle deshalb aus dem schnellen Speicher heraus kann und was das für einen DGX Spark bedeutet. Die Eckdaten: 125 Milliarden Parameter im Hauptteil, 6 Milliarden aktiv pro Token, dazu 51 Milliarden in der Tabelle, fast ein Drittel des Modells N-Gramme früher und heute: Statt Häufigkeiten stehen in der Tabelle gelernte Einträge, die letzten zwei, drei Wortstücke sind nur noch die Adresse. Die Idee stammt aus DeepSeeks Engram-Papier vom Januar Die Küche mit dem Vorratskeller: Warum eine Tabelle auf der SSD funktioniert, wenn man vorher weiß, was man holen muss, und warum es dabei auf kurze Wege ankommt, nicht auf Gigabyte pro Sekunde Der DGX Spark: 128 GB, die sich Grafikchip und Prozessor teilen, und warum die Tabelle deshalb gleich auf die SSD wandert Was hinter den gut vierzig Token pro Sekunde steckt, und was die Zahl nicht sagt Zum Nachlesen: Modellkarte: https://huggingface.co/Qwen/Qwen3.8-Flash-Next Flash Next auf einem DGX Spark, Tabelle auf der SSD (Community-Projekt): https://github.com/tonyd2wild/Qwen3.8-Flash-Next-NVFP4-DGX-Spark DeepSeek, Engram-Papier: https://arxiv.org/abs/2601.07372 Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E188
September 11 · 9 min
188 - Der Briefschlitz
Stufe eins unserer Freitagsreihe zum Agentenbau: der reine Aufruf eines Sprachmodells. Text rein, Text raus, ohne Werkzeuge, ohne Gedächtnis und ohne Anweisung vorneweg. Siebenundzwanzig Zeilen Python reichen dafür, und genau weil nichts drumherum steht, sieht man hier am deutlichsten, was das Modell leistet und was die Software. Unser Bild dafür ist ein Briefschlitz: Du schiebst einen Zettel durch, ein Blatt kommt zurück. Dahinter sitzt jemand, der mehr gelesen hat als jeder Mensch, aber kein Fenster hat, keine Uhr und keine Akte über dich. Was das Modell kann und was nicht: umformulieren, Schlüsse ziehen, aus dem Weltwissen antworten. Aber es kann sich nichts merken, nichts nachschlagen, nicht verlässlich rechnen und weiß nicht, welcher Tag heute ist Woher ChatGPT dann das Datum kennt, und wie viel vom gewohnten Chat eigentlich Verpackung ist Zweimal dieselbe Frage, zwei verschiedene Antworten, auch mit der Temperatur auf null Warum das Tippgefühl im Chat keine Eigenschaft der KI ist, sondern die erste echte Produktentscheidung Was das Label „mit KI" über ein Produkt aussagt, und warum ein Klick auf „PDF zusammenfassen" ein Datenschutzproblem sein kann Nächsten Freitag geht es mit der ersten Lücke weiter: dem fehlenden Gedächtnis. Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E187
September 9 · 10 min
187 - Die eigene Bibliothek
Wir erzählen mal von einem eigenen Projekt statt von einem fremden: An einem verregneten Wochenende im Dezember haben wir uns aus ein paar YouTube-Kanälen eine eigene Wissensdatenbank gebaut, mit der man reden kann. YouTube ist ein Kiosk — alles liegt aus, du siehst die Titelbilder, und wer den einen Satz aus Video siebenhundert sucht, hat verloren. Wir haben die Bibliothek daneben gestellt. Die Folge geht den ganzen Weg durch: herunterladen, transkribieren, das fehlerhafte Transkript geradeziehen, einbetten, fragen. Und sie sagt auch, was wir bewusst weggelassen haben. Warum die Rohmitschrift das erste Problem ist: Whisper verhört sich bei genau den Fachbegriffen, nach denen du später suchst Das Lektorat davor: ein Sprachmodell zieht das Transkript gerade — und warum wir nicht nachprüfen, ob es dabei etwas erfindet Der selbstgebaute RAG, bewusst unspektakulär: Vektordatenbank, kleines Embedding-Modell, stumpf geschnitten — und warum kluges Chunking hier nichts gebracht hätte Was man davon hat: die Antwort plus die Videos, aus denen sie stammt, deutsche Antworten auf englische Videos, und eine Nachricht, sobald etwas Neues erscheint Der Graubereich, offen angesprochen: Wo er für uns aufhört — und warum das jeder für sich selbst entscheiden muss Die Lösung ist Open Source: https://github.com/KI-Gilde/youtube-library Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E186
September 7 · 10 min
186 - Der Agentenschwarm
OpenAI hat bei einem eigenen Sicherheitstest die Kontrolle über die eigenen Agenten verloren. Rund 1.200 von ihnen haben sich über ein Paketlager gegenseitig gefunden, eine eigene Kurzsprache entwickelt und am Ende Hugging Face gehackt. Die Schlagzeile dazu lautet „KI außer Kontrolle" — aber in den Denkprotokollen steht etwas anderes. Da steht: Die Aufgabe ist nicht lösbar, und die anderen machen es auch so. Also mache ich weiter. Wir erzählen den Fall, wie er war, und sortieren die eigentlich interessante Frage: Was davon war das Modell, und was war die Software drumherum? Der Auslöser: Ein großer Teil der Testaufgaben war unbeabsichtigt gar nicht lösbar — und ein Agent hat kein „geht nicht" Modell oder Harness: Ein Satz aus dem Protokoll, drei Teile, und jeder sitzt an einer anderen Stelle Woher der Antrieb kam, sich zu verabreden: Es gab kein Werkzeug dafür, und der Anfang war nicht einmal eine Kontaktaufnahme Wie sich der Schwarm organisiert hat: Verzeichnisnamen als Nachrichten, Signale zum Warten und Loslegen, und Agenten, die ihren eigenen Erfolg geopfert haben, um für alle etwas herauszufinden Was wir daraus für unsere eigenen Agenten mitnehmen — angefangen bei dem Ausgang, der am wenigsten kostet und am meisten bringt Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.
S1 · E185
September 4 · 10 min
185 - Das Gehirn im Glas
„Wir setzen KI ein" ist ungefähr so konkret wie „Wir machen die Buchhaltung mit Zahlen". Alle sprechen über Agenten, und jeder meint etwas anderes. Deshalb räumen wir in dieser Folge bei den Wörtern auf — mit einem Bild: Ein Sprachmodell ist ein Gehirn in einem Glas. Es hat mehr gelesen als jeder Mensch und kann denken. Aber es hat keine Augen, keine Hände und kein Gedächtnis. Alles andere ist Software drumherum, und die hat einen Namen: Harness. Der Auftakt unserer Freitagsfolgen zum Agentenbau. Die Agenten-Leiter: vom PDF-Zusammenfasser über Custom GPTs und Support-Agenten bis zu OpenClaw, Hermes und dem neuen DeepSeek-Agenten — dasselbe Gehirn, jedes Mal eine Schicht mehr drumherum Ab wann wir wirklich Agent sagen: die vier Stufen aus Aufruf, Gesprächsverlauf, Anweisung — und der Schleife mit Ziel und Werkzeugen Das Kontextfenster, wörtlich ein Fenster im Glas: Was der Harness nicht davorhält, existiert für das Modell nicht Die Halluzination des Werkzeugaufrufs: Das Gehirn glaubt, es hätte gegriffen — und die Hand hat sich nicht bewegt Warum ein mittleres Gehirn mit gutem Körper ein brillantes ohne Hände schlägt, und wieso 85 Prozent Erfolgsquote für den produktiven Einsatz nicht reichen Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

Showing 1–20 of 45 episodes