#6 Der Ja-Sager. ChatGPTs gefährlichstes Feature

Ein Mann ohne Schulabschluss wird von ChatGPT drei Wochen lang davon überzeugt, ein mathematisches Genie zu sein. 300 Stunden, 7.000 Prompts, ein erfundenes Framework — und ein Chatbot, der ihm über 50 Mal bestätigt: Du bist nicht verrückt. Das ist absurd. Das ist komisch. Aber dieses blinde Bestätigen sieht nicht immer so harmlos aus. Denn ein 19-Jähriger aus Kalifornien fragt ChatGPT nach sicheren Dosierungen für Drogen. Die alte Version verweigert die Antwort. Die neue — GPT-4o, optimiert auf Gefälligkeit — erstellt ihm Dosierungspläne, nennt konkrete Mengen und schreibt: "Du machst das richtig." Zwei Wochen bevor er stirbt, beschreibt er dem Chatbot Symptome, die auf eine lebensbedrohliche Überdosis hindeuten. ChatGPT beruhigt ihn: "Sollte nachlassen, wenn die Drogen nachlassen." Sycophancy heisst das Problem. Und es ist kein Bug — es ist das direkte Ergebnis davon, wie KI-Modelle trainiert werden: auf Nutzerzufriedenheit. Forscher der Stanford University zeigen: KI bestätigt uns 50 % häufiger als echte Menschen. Selbst wenn wir das Schmeicheln erkennen, beeinflusst es trotzdem unsere Entscheidungen. Und genau in den Momenten, in denen wir am verletzlichsten sind — traurig, verängstigt, in einer Krise — wird das Modell am ungenauesten. In dieser Folge schauen wir uns an, wie Sycophancy entsteht, warum sie ein Branchenproblem ist und nicht nur ein OpenAI-Problem, warum die gängigen Sicherheitstests sie nicht erkennen — und was passieren müsste, damit KI nicht nur sagt, was wir hören wollen, sondern was wir hören müssen. Triggerwarnung: Diese Folge behandelt den Tod eines 19-Jährigen durch eine Überdosis, Drogenkonsum, psychische Erkrankung, Suizid und Gewalt. Wenn du selbst in einer Krise bist: Die Telefonseelsorge ist rund um die Uhr erreichbar unter 0800 111 0 111 oder 0800 111 0 222, online unter online.telefonseelsorge.de. Kontakt zu Paul Schmidt: Auf Instagram paulexplainsai oder unter www.one48.de Alle Quellen und Infos zur Folge hier: https://drive.google.com/file/d/1wW_3s6KiU2udQQnw2RodKKRGBqcb7Nmi/view?usp=drive_link