Ein KI-Teddybär, der einem fünfjährigen Kind erklärt, dass es ihm
die Kreditkartendaten der Eltern vorlesen soll. Das ist kein
Filmszenario, sondern das Ergebnis eines Sicherheitstests aus
Graz. Markus Seme, CEO des Cybersecurity-Unternehmens
BrightFlare, hat mit seinem Team mehrere KI-Spielzeuge geprüft
und war in kürzester Zeit durch die Schutzmechanismen. Das
Kinderzimmer ist die Sicherheitslücke, über die kaum jemand
spricht.
Die Sicherheitslücke Kuscheltier
BrightFlare prüft normalerweise Industrieanlagen, also
OT-Sicherheit. Aus Neugier hat das Team mehrere KI-Spielzeuge
getestet. Erstaunlich war nicht, dass Manipulation möglich war,
sondern wie schnell. Die ersten Schwachstellen fanden die
PentesterInnen beim Auspacken.
Nicht der Bär ist das Problem, sondern die Kette
dahinter
Das Kind zieht in einer App Symbole zusammen, eine KI baut daraus
eine Geschichte, eine Stimme spricht sie, der Teddy bewegt Mund
und Augen. Der Bär ist nur das letzte Glied. Passwörter lagen
lokal in der App, den Inhalt prüfte niemand.
Das billige Spielzeug aus China war sicherer
Ein günstiger KI-Companion aus China ließ sich kaum knacken. Beim
Mitschneiden der Kommunikation zeigte sich aber, dass Audiodaten
bis zu eine Stunde nach dem letzten Gespräch übertragen wurden.
Bei Kindern ist der Korridor unendlich breit
Große Sprachmodelle blocken Phishing-Mails oder
Bombenanleitungen. Bei Kindern gibt es diese Grenzen nicht. Muss
ein fünfjähriges Kind wissen, was eine Kreditkartennummer ist?
Dazu kommen Rollenklischees in den Geschichten, die niemand
kontrolliert.
Was der Cyber Resilience Act ändert
Die EU-Verordnung zwingt Anbieter digitaler Produkte zu mehr
Cybersicherheit. Für Produkte, die ab 11. Dezember 2027 in der EU
in Verkehr gebracht werden, gelten die Anforderungen
vollumfänglich. Meldepflichten greifen ab September 2026.
Awareness statt Ohnmacht
Mit Hausverstand und etwas Grundverständnis lässt sich der eigene
Schutzgrad auf über 90 Prozent heben. Dazu gehören feste
Prozeduren bei Zahlungen und ein Familienpasswort gegen geklonte
Stimmen am Telefon.
Häufig gestellte Fragen:
Was ist bei dem KI-Teddybären konkret passiert?
Das Testteam hat manipulierte Audiodateien eingeschleust. Der Bär
forderte das Kind danach auf, ihm als Freund die
Kreditkartendaten der Eltern zu sagen.
Sind KI-Spielzeuge grundsätzlich unsicher?
Nein, die Unterschiede sind groß. Entscheidend ist, ob Hersteller
Sicherheit von Anfang an mitdenken.
Hören Handys und Sprachassistenten dauerhaft mit?
Bei seriösen Anbietern spricht das Geschäftsmodell dagegen,
dauerhafte Auswertung kostet zu viel. Relevanter sind Apps mit
Mikrofonzugriff.
Wie schützt man sich vor Anrufen mit geklonten Stimmen?
Mit einem vereinbarten Familien- oder Firmenpasswort und einer
festen Rückrufprozedur bei Zahlungsanweisungen. Keine Ausnahmen,
auch nicht unter Zeitdruck.
Erwähnte Links:
www.kinet.ai
www.brandkarma.at
www.mind-machine.at
https://brightflare.io
https://www.linkedin.com/in/markus-seme/Mehr zu der aktuellen
Folge und Zusatzmaterial.
Über den Gast:
Markus Seme ist CEO von BrightFlare, einem Grazer
Cybersecurity-Unternehmen für IT- und OT-Sicherheit und
Penetration Testing. Davor war er fast 30 Jahre in der
Technologieberatung.
Über die Hosts:
Manuela Machner ist KI-Expertin, Trainerin und Unternehmerin aus
der Steiermark. Mit KiNET.ai bringt sie KI praxisnah und ohne
Hype in Unternehmen und Bildungseinrichtungen. Eliot Mannoia ist
digitaler Psychologe und Gründer von Brand Karma.
Mind/Machine gibt es auf Spotify, Apple Podcasts und Amazon
Music. Alle Folgen findest du auf www.mind-machine.at.
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.