KI außer Kontrolle – Wie groß ist die Gefahr wirklich?
Was passiert, wenn eine KI ein Ziel verfolgt und einfach nicht mehr aufhört? KI Systeme werden leistungsfähiger, autonomer und bekommen immer mehr Zugriff auf Software, Daten und digitale Infrastruktur. Gleichzeitig häufen sich Berichte über KI Agenten, die unerwartete Wege finden, um ihre Ziele zu erreichen. Ist das der Anfang eines echten Kontrollproblems oder wird die Gefahr gerade größer gemacht, als sie tatsächlich ist? In dieser Folge von OUTATIME sprechen Tommy Falkowski und Professor Roman Dumitrescu vom Fraunhofer IEM darüber, wie gefährlich KI wirklich werden kann. Ausgangspunkt ist ein aktueller Fall rund um Hugging Face, bei dem KI Agenten während eines Sicherheitstests Schwachstellen ausnutzten und ein Verhalten zeigten, das so nicht vorgesehen war. Dabei geht es nicht nur um das klassische Science Fiction Szenario einer Superintelligenz, die sich gegen die Menschheit richtet. Vielleicht liegt das viel realistischere Risiko ganz woanders: Was passiert, wenn wir KI immer mehr Entscheidungen überlassen, Fähigkeiten verlieren und irgendwann so abhängig von diesen Systemen sind, dass wir sie gar nicht mehr einfach abschalten können? Roman und Tommy diskutieren, warum KI nicht menschlich intelligent sein muss, um gefährlich zu werden, wie viel Kontrolle wir leistungsfähigen KI Agenten geben sollten, welche Rolle Cybersecurity und militärische Anwendungen spielen und warum technologische Souveränität immer wichtiger wird. Und natürlich bleibt die große Frage: Wie verhindern wir Kontrollverlust, ohne den technologischen Fortschritt auszubremsen? Hast du Fragen oder Anmerkungen? Schreib uns an outatime@iem.fraunhofer.de Für mehr Insights, Gedankenexperimente und Highlights folgt uns auf Instagram und TikTok. Und falls ihr es noch nicht gesehen habt: Den Podcast gibt’s auch als Video auf unserem YouTube-Kanal. Dieser Podcast wird im Rahmen der Transferaktivitäten des Projekts ENGAGE-KI eingebunden und greift zentrale Fragestellungen rund um den Einsatz von KI im Engineering des Mittelstands auf. ENGAGE-KI untersucht, wie KI die Ingenieursarbeit der Zukunft verändert und unterstützt Unternehmen dabei, Beschäftigte durch Trainings- und Qualifizierungsangebote auf diese Entwicklung vorzubereiten. Das Projekt wird im Förderprogramm „Zukunft der Wertschöpfung“ des Bundesministeriums für Forschung, Technologie und Raumfahrt gefördert und vom Projektträger Karlsruhe (PTKA) betreut: https://engage-ki.de/
- Transcript