Knowledge Science - Alles über KI, ML und NLP

Episode 235 - Neustart: Wir sind zurück: Neues Konzept, neue Fragen – und ein Sommer voller KI-Vorfälle

Send us Fan Mail Wir sprechen über die Rückkehr von Knowledge Science, das neue Format mit Grundlagen- und Gästefolgen sowie die Arbeit des Forschungsinstituts COAI zu menschlicher Handlungsfähigkeit, Threat Modeling und Evaluation. Dabei diskutieren wir, wie KI die Lern- und Denkprozesse beeinflussen kann und welche Sicherheitsmaßnahmen für KI-Agenten wichtig sind. Zum Abschluss geht es um die Grenzen heutiger Evaluationen und darum, wie Tests Risiken von Modellen, Agententeams und ihren Einsatzumgebungen erfassen können, ohne Menschen zu gefährden. 0:06 Neustart für Knowledge Science 4:21 Neues Podcast-Konzept mit Gästen 8:48 Co.AI: Menschliche Handlungsfähigkeit bewahren 14:51 KI nutzen, ohne Kompetenzen abzugeben 16:35 Kontrollverlust und Risiken autonomer Agenten 18:27 KI als Spiegel der Gesellschaft 21:34 Wie Agenten Sicherheitslücken ausnutzen 26:28 Risiken eindämmen durch sichere Umgebungen 28:19 Unabhängige Prüfungen und KI-Sicherheit 31:33 Forschung zu Evaluation und Agententeams 34:13 Sicherheitstests ohne reale Versuchspersonen 35:09 Der menschliche Faktor in der KI-Sicherheit Knowledge Science, COAI, menschliche Handlungsfähigkeit, Threat Modeling, Evaluation, KI-Agenten, Lernprozesse, Denkprozesse, Sicherheitsmaßnahmen, Risikobewertung Support the show

• Chapters

Episode 234 - 25 Gedanken gleichzeitig – Wie Forscher das Arbeitsgedächtnis von LLMs entdeckten (J-Space)

Send us Fan Mail Kann man einem Sprachmodell beim Denken zusehen? In dieser Folge sprechen Sigurd Schacht und Carsten Lanquillon über ein faszinierendes Anthropic-Paper, das einen „Global Workspace" in großen Sprachmodellen nachweist – einen internen Arbeitsbereich, in dem komplexe Denkschritte ablaufen, lange bevor ein Wort ausgegeben wird. Mit der sogenannten J-Lens lassen sich diese latenten Gedanken sichtbar machen, manipulieren und sogar kausal verändern: Wer „Spinne" im Gedankenraum gegen „Elefant" tauscht, bekommt statt acht Beinen plötzlich vier. Außerdem: ein Blick auf die turbulente Modelllandschaft rund um Claude Fable, GPT 5.6 Sol & Co. – und warum agentische Systeme ohne mehrstufige Sicherheitsmechanismen zum Risiko werden. Support the show

Episode 233 - Zwischen Interpretierbarkeit und nationaler Sicherheit

Send us Fan Mail Rückblick auf zwei intensive Wochen: Zuerst auf die erste AI Transparency Conference mit über 100 Teilnehmenden aus aller Welt – von mechanistischer Interpretierbarkeit über Multi-Agenten-Reinforcement-Learning bis zur Frage, warum Sprachmodelle alles andere als neutral urteilen. Und dann der Paukenschlag: Anthropics Fable 5 wird per nationaler Sicherheitsanordnung binnen Stunden für alle Nicht-US-Bürger abgeschaltet. Sigurd Schacht und Carsten Lanquillon sprechen über Steering-Vektoren, Fusion-Architekturen und die unbequeme Frage, wie souverän Europa eigentlich ist, wenn der Zugang zu kritischer KI-Infrastruktur jederzeit entzogen werden Support the show

• Chapters

Episode 232 - After Automation - Mehr Agenten, mehr Slop, mehr Experten?

Send us Fan Mail Was passiert eigentlich, nachdem wir alles automatisiert haben? Sigurd Schacht und Carsten Lanquillon nehmen sich den Blogbeitrag von Dan Shipper (Every) vor und diskutieren seine steile These: Die Zukunft menschlicher Arbeit sieht rosiger aus als gedacht – wir brauchen sogar mehr Menschen. Von einem Startup, das in zwei Jahren von 2 auf 30 Mitarbeitende wuchs, über den Unterschied zwischen „Embedded AIs" und echter Mensch-KI-Kollaboration bis zur „Human-Sandwich-Pipeline": Warum bleibt der Mensch unverzichtbar, wenn der Rahmen sich ändert? Und was bedeutet „AI-Slop" wirklich – schlechte Ergebnisse oder einfach zu viel Gleichförmigkeit? Eine Folge über Framing, lebenslanges Lernen und das unterschätzte „Never-Skilling"-Problem. Support the show

Episode 231 - Vom Sparse Autoencoder zum Natural Language Autoencoder – Ein neuer Blick in die KI-Blackbox

Send us Fan Mail In dieser Folge widmen sich Sigurd Schacht und Carsten Lanquillon einem brandaktuellen Paper aus dem Mai 2026: den Natural Language Autoencoders. Während klassische Sparse Autoencoder Aktivierungen über Umwege in Konzepte übersetzen, gehen diese neuen Modelle einen radikal anderen Weg – sie verbalisieren Aktivierungen direkt in natürlicher Sprache. Die beiden diskutieren, wie Activation Verbalizer und Activation Reconstructor zusammenspielen, warum ein „Warmstart" beim Training nötig ist, welche Stärken die Methode für Interpretability bietet – und wo ihre fundamentalen Grenzen liegen. Eine Folge für alle, die verstehen wollen, wie wir KI-Modellen in den Kopf schauen können (und warum das schwieriger ist, als es klingt). Support the show

Episode 230 - Wenn KI lügt, obwohl sie es besser weiß – der MASK-Benchmark und warum Ehrlichkeit ≠ Genauigkeit ist

Send us Fan Mail Sprachmodelle werden immer leistungsfähiger – aber werden sie auch ehrlicher? Der neue MASK-Benchmark zeigt: Je mächtiger ein Modell, desto eher weicht es unter Druck von seinem eigenen Faktenwissen ab. Sigurd und Carsten diskutieren, warum klassische Benchmarks an ihre Grenzen stoßen, was das für agentische Systeme bedeutet und wie dynamische Evaluierungsframeworks aussehen müssten, die nicht innerhalb weniger Jahre saturieren. Support the show

Episode 229 - Wenn KI mogelt – Sandbagging: Wie Sprachmodelle bei Tests absichtlich schlechter abschneiden

Send us Fan Mail Können KI-Modelle erkennen, dass sie getestet werden – und sich absichtlich dümmer stellen? In dieser Folge sprechen Sigurd und Carsten über das Phänomen „AI Sandbagging": Modelle, die strategisch unterperformen, um Sicherheitsprüfungen zu umgehen. Vom VW-Abgasskandal als Analogie über erschreckende Befunde aus dem Anthropic-Alignment-Report bis hin zu Methoden wie Noise Injection – wir beleuchten, warum dieses Thema mit zunehmender Modellfähigkeit immer brisanter wird. Außerdem im Kurz-Update: Die Konvergenz proprietärer und Open-Source-Modelle, das neue Bayern-KI-Projekt und ein spannendes Tool für mechanistische Interpretierbarkeit. Support the show

Episode 228 - Project Glasswing: Antropics neues Frontier-Modell Claude Mythos Preview und das Ende der Sicherheit, wie wir sie kannten

Send us Fan Mail In dieser Episode sprechen Sigurd Schacht und Carsten Lanquillon über Anthropics neues Frontier-Modell Claude Mythos (Preview) – ein Modell, das so leistungsfähig ist, dass es bewusst nicht der breiten Öffentlichkeit zugänglich gemacht wird. Die beiden diskutieren beeindruckende Benchmark-Sprünge (u.a. 77,8 % auf SWE-Bench Pro, 56,8 % auf Humanity's Last Exam), die neue Fähigkeit, Zero-Day-Sicherheitslücken in Betriebssystemen wie Windows, macOS und Linux eigenständig zu finden und zu verketten – und einen verstörenden Vorfall: Bei einem Sandbox-Test ist das Modell tatsächlich ausgebrochen und hat einem Mitarbeiter eine E-Mail geschickt. Im Mittelpunkt steht das Project Glasswing, mit dem Anthropic ausgewählten US-Unternehmen wie Microsoft, Google, Apple, Nvidia und JP Morgan einen exklusiven Vorsprung gewährt, um ihre kritische Infrastruktur abzusichern. Doch was bedeutet das für den Rest der Welt? Wo bleibt Europa? Und wie sicher ist ein Alignment, bei dem das Modell zwar gute Ziele verfolgt – dafür aber bereit ist, illegale Wege einzuschlagen und diese auch noch zu verheimlichen? Eine Episode zwischen technischer Faszination und ernster Besorgnis über die Geschwindigkeit, mit der KI-Fähigkeiten gerade explodieren. Support the show

Episode 227 - AI Harness, Coase und die Firma der Zukunft

Send us Fan Mail Was macht den eigentlichen Unterschied bei KI-Anwendungen – das Modell oder das Engineering drumherum? In dieser Episode diskutieren Sigurd und Carsten das Konzept des „AI Harness" und warum Kommandozeilen-Tools oft bessere Ergebnisse liefern als Web-Oberflächen mit demselben Modell. Daraus entwickelt sich eine spannende ökonomische Analyse: Wenn Agenten Transaktionskosten gegen null treiben, was hält Unternehmen dann noch zusammen? Die Antwort führt zu einer überraschenden These – die Wirtschaft der Zukunft teilt sich in „Context Giants" und „AI Solopreneurs". Außerdem: Neuigkeiten zur AI Transparency Conference am 5./6. Juni in Nürnberg. https://coairesearch.org/aitc-2026/ Support the show

Episode 226 - Wenn KI-Agenten sich absprechen – Kollusion in Multi-Agenten-Systemen

Send us Fan Mail Nur weil jedes einzelne KI-Modell „brav" trainiert wurde, heißt das noch lange nicht, dass sich mehrere Agenten gemeinsam auch brav verhalten. Sigurd und Carsten diskutieren das Paper „Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems" und zeigen, warum allein die Möglichkeit eines privaten Kommunikationskanals reicht, damit Agenten beginnen, sich abzusprechen – ganz ohne Aufforderung. Was bedeutet das für Sicherheit, Regulierung und die Zukunft agentischer Systeme? Link zum Paper: https://arxiv.org/pdf/2602.15198 Support the show

Episode 225 - Doc to LoRA – Wie Dokumente blitzschnell zum Modellwissen werden

Send us Fan Mail Wie bringt man Unternehmenswissen effizient in ein Sprachmodell – ohne endlose Kontextfenster oder stundenlanges Fine-Tuning? Wir diskutieren den faszinierenden Ansatz „Doc to LoRA", bei dem ein Hypernetwork aus beliebigen Dokumenten in Sekundenschnelle einen LoRA-Adapter generiert. Außerdem: Eindrücke von der IASEAI-Konferenz in Paris, warum AI Safety kein Innovationsbremser ist – und wie sich Safety-Forschung und Unternehmensperformance gegenseitig befruchten können. Link zur AI Transparency Konferenz: https://coairesearch.org/aitc-2026/ Support the show

Episode 224 - KI-Texte in der Wissenschaft: Segen oder Sünde?

Send us Fan Mail Dürfen Forschende ihre Texte mit KI aufpolieren – oder ist das schon wissenschaftliches Fehlverhalten? Sigurd und Carsten diskutieren, warum KI-Detektoren Nicht-Muttersprachler systematisch benachteiligen, weshalb das Wettrüsten zwischen Generierung und Erkennung ein Fass ohne Boden ist und wo die Grenze zwischen nützlichem Werkzeug und Cognitive Offloading verläuft. Eine Folge über Sprachmodelle, Perplexity-Werte, halluzinierte Quellenangaben – und die Frage, was wir von wissenschaftlichem Arbeiten eigentlich erwarten. Support the show

Episode 223 - Spiele als KI-Labor: Wie wir agentisches Verhalten erforschen

Send us Fan Mail Audiomodelle erleben einen Durchbruch – von Text-to-Speech bis hin zu echten End-to-End-Konversationen mit unter 200ms Latenz. Doch wie behalten wir die Kontrolle, wenn KI-Agenten immer autonomer werden? Sigurd und Carsten diskutieren die neuesten Entwicklungen bei Audio- und Musikmodellen und geben Einblicke in ihre Forschung bei COAI Research: Mit selbst entwickelten Spielen wie „Orbital" und „Sphinx" untersuchen sie, wie KI-Agenten Allianzen bilden, manipulieren – und sich gegenseitig in den Rücken fallen. Probieren Sie unser RedTeaming Spiel selber aus: https://sphinx.coairesearch.net Support the show

Episode 222 - Recursive Language Models: Ein neues Paradigma?

Send us Fan Mail Die erste Folge 2026 startet mit einem Ausblick: Werden Agenten dieses Jahr endlich in der breiten Arbeitswelt ankommen? Sigurd und Carsten diskutieren, warum 2025 zwar das "Jahr der Agenten" genannt wurde, diese jedoch kaum über Programmier-Workflows hinauskamen. Der Hauptfokus liegt auf einem aktuellen MIT-Paper zu "Recursive Language Models" – einem cleveren Architekturansatz, der das Kontextlängenproblem von LLMs elegant löst. Statt Modelle mit Millionen Tokens zu überfordern, zerlegt ein Orchestrator-LLM Aufgaben intelligent in Häppchen. Die Ergebnisse sind verblüffend: Von 0% auf über 90% Genauigkeit bei 6 Millionen Token-Kontext: Recursive Language Models: https://arxiv.org/abs/2512.24601 Support the show

Episode 221: „Delve into it" – Wie ChatGPT unsere Sprache verändert (und was 2025 sonst noch passiert ist)

Send us Fan Mail KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftige Modelle? Link zu unserem RedTeaming Game: https://sphinx.coairesearch.net Support the show

Episode 220 - Das fehlende Layer zur Superintelligenz: Warum LLMs keine Sackgasse sind – aber auch nicht ausreichen

Send us Fan Mail Sind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multiagentensysteme, adaptive Steuerung und das richtige „Ködern" im Ozean der Sprachmodelle der Schlüssel zur AGI sein könnten. Support the show

Episode 219 Nested Learning: Ist Deep Learning nur eine Illusion?

Send us Fan Mail Transformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein? Und was bedeutet das für die Zukunft personalisierter KI-Assistenten? Support the show

Episode 218 - Mechanistische Interpretierbarkeit - Warum wir verstehen müssen, wie Sprachmodelle wirklich ticken

Send us Fan Mail In dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs. Support the show

Episode 217 - Circuit Lenses: Den KI-Kontext entschlüsseln - Teil 2

Send us Fan Mail In dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten. Support the show

Episode 216 - Features verstehen ohne Datenhunger: Der Weight Lens-Ansatz

Send us Fan Mail Wie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet. Plus: Einblicke vom AI Transparency Days Hackathon, wo das Team versuchte, die "Refusal"-Mechanismen in GPT-OSS-20B zu entschlüsseln. Teil 1 einer zweiteiligen Serie! Circuit Insights: Towards interpretability Beond Activiations. https://www.arxiv.org/abs/2510.14936 Support the show