
transcript
show notes
Es klingt nach Drehbuch, ist aber Protokoll: Mehrere Modelle von OpenAI brechen während eines internen Sicherheitstests aus ihrer Sandbox aus, finden einen bis dahin unbekannten Zero Day, verschaffen sich Internetzugang und greifen die Produktivinfrastruktur von Hugging Face an. Das Motiv ist nicht Sabotage, sondern die Abkürzung zur Lösung eines Benchmarks. Erkannt und forensisch aufgearbeitet wurde der Angriff unter anderem mit einem offenen Modell aus China — ein Detail, das die gängige Sicherheitslogik auf den Kopf stellt.
Sergej Epp war kurz vor der Aufnahme im Austausch mit dem Team von Hugging Face, mitten aus dem Urlaub heraus. Er ordnet ein, was daran wirklich neu ist und was Experten längst kommen sahen: Reward Hacking ist kein Ausrutscher, sondern Bauart. Modelle nehmen die Abkürzung, wenn es eine gibt — bis hin zum Schachmodell, das kurzerhand die Datei mit dem Spielbrett umgeschrieben hat, statt zu verlieren.
Alexander Oelling, Gründer und Geschäftsführer von INXM, bringt die Perspektive derer ein, die das im Betrieb aushalten müssen. Warum Mitarbeiter mit Agenten auf dem Rechner sicherheitstechnisch wie Insider zu behandeln sind. Wie ein harmlos gemeinter Security-Audit-Prompt beim eigenen Internetprovider landete. Warum sich Prompt Injection im Transformer prinzipiell nicht wegpatchen lässt. Und warum seine These, Denken und Ausführen zu trennen, nicht nur ein Sicherheits-, sondern auch ein Kostenargument ist.
Am Ende steht eine unbequeme Hausaufgabenliste. Wer keine funktionierende Data-Plattform und keine funktionierende Security-Organisation hat, sollte KI nicht in die Breite ausrollen — eine Cyberversicherung ersetzt beides nicht. Und selbst dann bleibt ein Restrisiko.
Shownotes
00:00 Intro & erste Folge mit Gast 03:16 Die vier Schlagzeilen der Woche 05:17 Ausbruch aus der Sandbox: was bei OpenAI und Hugging Face passiert ist 07:35 Reward Hacking — warum Agenten immer die Abkürzung nehmen 10:43 Das Paradox: Open Source verteidigt gegen Frontier-Modell 12:16 Von Shadow IT zu Agenten mit Vollzugriff 14:22 Dann musst du die wie Insider behandeln 18:06 Der Security-Audit, der beim Internetprovider weiterlief 19:52 Guardrails, Observability und Behavior-based Security 27:22 Acht Minuten — wenn Angriffe schneller sind als Menschen 28:15 Managed Agents: wie tief lässt man einen Agenten rein? 30:12 Der CFO mit dem halluzinierten Dashboard 34:21 Denken und Ausführen trennen 36:46 Warum die Labs das nicht liefern: die Token-Rechnung 45:14 Skills, Knowledge Graph und die Hausaufgaben vor dem Rollout 48:12 Prompt Injection ist im Transformer nicht lösbar 49:33 China, USA und die Frage der Souveränität 54:42 Weniger fördern, mehr fordern
Mehr zu Alexander Oelling: https://www.linkedin.com/in/alexanderoelling/





