
#124 - Wenn das Kuscheltier nach der Kreditkarte fragt - Gast: Markus Seme
Ein KI-Teddybär, der einem fünfjährigen Kind erklärt, dass es ihm die Kreditkartendaten der Eltern vorlesen soll. Das ist kein Filmszenario, sondern das Ergebnis eines Sicherheitstests aus Graz. Markus Seme, CEO des Cybersecurity-Unternehmens BrightFlare, hat mit seinem Team mehrere KI-Spielzeuge geprüft und war in kürzester Zeit durch die Schutzmechanismen. Das Kinderzimmer ist die Sicherheitslücke, über die kaum jemand spricht. Mind/Machine ist der Podcast über Künstliche Intelligenz und Digitalisierung im Tourismus und im Unternehmensalltag. Manuela Machner ist KI-Trainerin und Beraterin, spezialisiert auf praxisnahe KI-Anwendung im Tourismus und in der Weiterbildung (www.kinet.ai). Eliot Mannoia von Brand Karma ist digitaler Psychologe und schaut darauf, was Technologie mit Menschen macht (www.brandkarma.at). Was dich in dieser Folge erwartet: Die Sicherheitslücke Kuscheltier BrightFlare prüft normalerweise Industrieanlagen, also OT-Sicherheit. Aus Neugier hat das Team mehrere KI-Spielzeuge getestet. Erstaunlich war nicht, dass Manipulation möglich war, sondern wie schnell. Die ersten Schwachstellen fanden die PentesterInnen beim Auspacken. Nicht der Bär ist das Problem, sondern die Kette dahinter Das Kind zieht in einer App Symbole zusammen, eine KI baut daraus eine Geschichte, eine Stimme spricht sie, der Teddy bewegt Mund und Augen. Der Bär ist nur das letzte Glied. Passwörter lagen lokal in der App, den Inhalt prüfte niemand. Das billige Spielzeug aus China war sicherer Ein günstiger KI-Companion aus China ließ sich kaum knacken. Beim Mitschneiden der Kommunikation zeigte sich aber, dass Audiodaten bis zu eine Stunde nach dem letzten Gespräch übertragen wurden. Bei Kindern ist der Korridor unendlich breit Große Sprachmodelle blocken Phishing-Mails oder Bombenanleitungen. Bei Kindern gibt es diese Grenzen nicht. Muss ein fünfjähriges Kind wissen, was eine Kreditkartennummer ist? Dazu kommen Rollenklischees in den Geschichten, die niemand kontrolliert. Was der Cyber Resilience Act ändert Die EU-Verordnung zwingt Anbieter digitaler Produkte zu mehr Cybersicherheit. Für Produkte, die ab 11. Dezember 2027 in der EU in Verkehr gebracht werden, gelten die Anforderungen vollumfänglich. Meldepflichten greifen ab September 2026. Awareness statt Ohnmacht Mit Hausverstand und etwas Grundverständnis lässt sich der eigene Schutzgrad auf über 90 Prozent heben. Dazu gehören feste Prozeduren bei Zahlungen und ein Familienpasswort gegen geklonte Stimmen am Telefon. Häufig gestellte Fragen: Was ist bei dem KI-Teddybären konkret passiert? Das Testteam hat manipulierte Audiodateien eingeschleust. Der Bär forderte das Kind danach auf, ihm als Freund die Kreditkartendaten der Eltern zu sagen. Sind KI-Spielzeuge grundsätzlich unsicher? Nein, die Unterschiede sind groß. Entscheidend ist, ob Hersteller Sicherheit von Anfang an mitdenken. Hören Handys und Sprachassistenten dauerhaft mit? Bei seriösen Anbietern spricht das Geschäftsmodell dagegen, dauerhafte Auswertung kostet zu viel. Relevanter sind Apps mit Mikrofonzugriff. Wie schützt man sich vor Anrufen mit geklonten Stimmen? Mit einem vereinbarten Familien- oder Firmenpasswort und einer festen Rückrufprozedur bei Zahlungsanweisungen. Keine Ausnahmen, auch nicht unter Zeitdruck. Erwähnte Links: www.kinet.ai www.brandkarma.at www.mind-machine.at https://brightflare.io https://www.linkedin.com/in/markus-seme/ Über den Gast: Markus Seme ist CEO von BrightFlare, einem Grazer Cybersecurity-Unternehmen für IT- und OT-Sicherheit und Penetration Testing. Davor war er fast 30 Jahre in der Technologieberatung. Über die Hosts: Manuela Machner ist KI-Expertin, Trainerin und Unternehmerin aus der Steiermark. Mit KiNET.ai bringt sie KI praxisnah und ohne Hype in Unternehmen und Bildungseinrichtungen. Eliot Mannoia ist digitaler Psychologe und Gründer von Brand Karma. Mind/Machine gibt es auf Spotify, Apple Podcasts und Amazon Music. Alle Folgen findest du auf www.mind-machine.at.

















