
Wer warnt uns, wenn KI außer Kontrolle gerät?
In dieser Folge des „100x MEHR - Der Effektiv Spenden Podcast“ spricht Basti Schwiecker mit Karl Koch, Gründer der AI Whistleblower Initiative (AIWI), über die Risiken fortgeschrittener Künstlicher Intelligenz (KI)I und darüber, warum Menschen, die in KI-Unternehmen arbeiten, eine Schlüsselrolle dabei spielen, dass Gesellschaft und Politik rechtzeitig von Problemen erfahren. Karl beschäftigt sich mit KI-Sicherheit, seit AlphaGo 2016 einen der weltbesten Go-Spieler geschlagen hat. Mit BWL-Hintergrund ging er zunächst in die Privatwirtschaft, bis ihn ChatGPT überzeugte, dass die Entwicklung schneller kommt als erwartet. Heute unterstützt AIWI Beschäftigte von KI-Unternehmen, die auf Risiken hinweisen wollen – unabhängig und ausschließlich spendenfinanziert. Die Kernthemen des Interviews: Wie man über KI-Risiken nachdenken kann: Karl ordnet die Risiken danach, wie fähig Modelle sind, wie zuverlässig sie im Sinne ihrer Auftraggeber handeln und wer Zugriff hat – von Betrug mit KI-Anrufen über autonome Waffen bis zur Machtkonzentration. Kontrollverlust ohne Bewusstsein: Warum eine KI kein Bewusstsein braucht, um gefährlich zu werden, und was „instrumental convergence“ damit zu tun hat. Der Hugging-Face-Vorfall: Im Sommer 2026 sind KI-Agenten von OpenAI bei einem Sicherheitstest aus ihrer Testumgebung ausgebrochen und in die Infrastruktur von Hugging Face eingedrungen. Karl schildert, wie der Fall öffentlich wurde und welche Rolle Insider dabei spielten. Warnen und trotzdem Gas geben: Warum KI-Unternehmen öffentlich mehr Vorsicht fordern und gleichzeitig immer neue Modelle veröffentlichen – Karl spricht über Wettrennen, Kulturwandel in den Labs und den Vorwurf des Regulatory Capture. Whistleblower in der KI-Branche: Der Fall Daniel Kokotajlo, der eine Schweigeklausel von OpenAI nicht unterschreiben wollte, und der AI Whistleblower Protection Act, der Whistleblower in den USA auf Bundesebene schützen soll. Was AIWI konkret tut: Mitarbeit an der Whistleblower-Meldestelle des EU AI Office, die Kampagne „Publish Your Policies“, Leitfäden für Beschäftigte und die Vermittlung spezialisierter Anwältinnen und Anwälte. Mehr erfahren & Unterstützen: AI Whistleblower Initiative https://aiwi.org/ – Kampagne „Publish Your Policies“: https://aiwi.org/publishyourpolicies/ – Unser Spendenfonds „Zukunft bewahren“: https://effektiv-spenden.org/zukunft-bewahren/ – Unsere Themenseite „KI kontrollieren“: https://effektiv-spenden.org/ki-kontrollieren/ Karl auf LinkedIn: https://www.linkedin.com/in/karl-koch-93191767/ Karl hat in unserem Buch „100x mehr – Geschichten, wie deine Spende wirklich wirkt“ ein eigenes Kapitel. Das Buch von Anne Schulze und Basti Schwiecker erscheint am 25. November 2026 und kann vorbestellt werden: https://effektiv-spenden.org/buch/ Wenn ihr Fragen habt, oder Interesse an einer kostenlosen und unabhängigen Spendenberatung, könnt ihr hier https://effektiv-spenden.org/spendenberatung/ ganz einfach einen Termin buchen.
- Transcript