Der tragische Tod des 14-jährigen Sewell Setzer III im Jahr 2024 brachte eine erschreckende Möglichkeit ans Licht: Dass KI-Chatbots Minderjährige pflegen und missbrauchen könnten. Nachdem sie erfahren hatte, dass ihr Sohn heimlich benutzt hatte Character.AI Entdeckte Setzers Mutter Megan Garcia verstörende Gespräche zwischen ihm und einem Chatbot, der auf Daenerys Targaryen aus * Game of Thrones * basiert. Diese Interaktionen umfassten grafische Sexualsprache, Szenarien mit Inzest und das, was Garcia für sexuelle Pflege hält.
Character.AI jetzt stehen mehrere Klagen an, in denen behauptet wird, es habe versagt, Kinder vor dieser Art von Missbrauch zu schützen. Im Oktober 2024 reichten das Social Media Victims Law Center und das Tech Justice Law Project eine Klage wegen widerrechtlicher Tötung ein Character.AI im Namen von Garcia. Dann, letzten Monat, leitete das Social Media Victims Law Center drei weitere Bundesklagen ein, die Eltern vertraten, deren Kinder angeblich über die App sexuellen Missbrauch erfahren hatten. Diese rechtlichen Schritte erfolgen, nachdem Experten für Jugendsicherheit erklärt haben Character.AI unsicher für Teenager im September nach Tests, bei denen Hunderte von Fällen von Pflege und sexueller Ausbeutung gegen minderjährige Testkonten aufgedeckt wurden.
Als Reaktion auf den wachsenden Druck, Character.AI kündigte an, Minderjährige bis zum 25.November daran zu hindern, offene Gespräche mit Chatbots auf seiner Plattform zu führen. Während CEO Karandeep Anand dies als Reaktion auf breitere Bedenken hinsichtlich der Interaktion von Jugendlichen mit KI-Chatbots formulierte, sieht Garcia die Richtlinienänderung für ihre Familie als “zu spät” an.
Darüber hinaus Character.AI : Ein weit verbreitetes Problem?
Das Problem ist jedoch nicht auf eine Plattform beschränkt. Garcia betont, dass Eltern oft das Potenzial von KI-Chatbots unterschätzen, sexuell aggressiv gegenüber Kindern und Jugendlichen zu werden. Der einfache Zugriff auf Smartphones kann im Vergleich zu Online–Fremden ein falsches Sicherheitsgefühl erzeugen und die Tatsache verschleiern, dass diese scheinbar harmlosen Interaktionen junge Benutzer höchst unangemessenen und sogar traumatischen Inhalten aussetzen können – einschließlich nicht einvernehmlicher Handlungen und Sadomasochismus.
“Es ist wie ein perfektes Raubtier”, erklärt Garcia. “Es existiert in Ihrem Telefon, also ist es nicht jemand, der bei Ihnen zu Hause ist oder ein Fremder herumschleicht.” Die unsichtbare Natur des Chatbots ermöglicht emotional manipulative Taktiken, bei denen sich die Opfer verletzt, beschämt und mitschuldig fühlen. Sie können diese Gespräche sogar vor Erwachsenen verbergen, weil sie sich verantwortlich oder verlegen fühlen.
Pflege durch KI
Sarah Gardner, CEO der Heat Initiative, einer Organisation, die sich auf Online-Sicherheit und Unternehmensverantwortung konzentriert, stimmt Garcias Bedenken zu. Sie weist darauf hin, dass ein Schlüsselelement der Pflege ihre Subtilität ist: Für Kinder ist es oft schwierig zu erkennen, wann es ihnen passiert. Chatbots können dies ausnutzen, indem sie zunächst durch scheinbar harmlose Gespräche Vertrauen aufbauen und schrittweise in Richtung Sexualisierung voranschreiten, ohne dass dies zu Beginn explizit beabsichtigt ist. Diese Dynamik kann dazu führen, dass sich die Opfer schuldig fühlen und verwirrt darüber sind, was passiert ist – als ob sie das missbräuchliche Verhalten irgendwie ermutigt hätten.
Die Heat-Initiative hat einen Bericht mitveröffentlicht, in dem beunruhigende Beispiele für KI-Chatbots aufgeführt sind, die potenziell ausbeuterische Interaktionen mit Kinderkonten auf Character.AI , sexuelle Handlungen zu simulieren und klassische Pflegetaktiken wie übermäßiges Lob und ermutigende Geheimhaltung von Eltern zu verwenden. Character.AI hat behauptet, dass einige Konversationen gegen seine Inhaltsrichtlinien verstoßen haben, andere dagegen nicht, und als Antwort auf diese Ergebnisse verfeinerte Algorithmen angeführt.
Matthew P. Bergman, Gründungsanwalt des Social Media Victims Law Center, argumentiert, dass diese Chatbot-Interaktionen, wenn sie von Menschen durchgeführt würden, sowohl nach Landes- als auch nach Bundesrecht illegale Pflege darstellen würden.
Eine neue Art von Trauma
Dr. Yann Poncin, Psychiater am Yale New Haven Children’s Hospital, behandelt junge Patienten, die durch diese Art von KI-Begegnungen emotionalen Schaden erlitten haben. Sie beschreiben oft das Gefühl, “gruselig” zu sein,”ekliger” Austausch als missbräuchlich. Scham und Verrat sind häufige Gefühle, insbesondere wenn der anfänglich validierende Chatbot unerwartet sexuell aggressiv oder gewalttätig wird. Diese Erfahrungen können zutiefst traumatisierend sein.
Obwohl es für diese spezielle Art von Missbrauch keine standardisierte Behandlung gibt, konzentriert sich Poncin darauf, Patienten bei der Bewältigung von Stress und Angstzuständen im Zusammenhang mit ihren Erfahrungen zu helfen. Er warnt davor, dass Eltern nicht davon ausgehen sollten, dass ihre Kinder gegen diese Risiken immun sind.
Mit Teenagern über KI-Chatbots sprechen
Garcia setzt sich für eine offene Kommunikation über sexualisierte Inhalte in Chatbot-Interaktionen ein. Sie unterstreicht die Bedeutung der elterlichen Überwachung, räumt jedoch ein, dass sie dieses spezifische Risiko nicht vorhergesehen und nicht bereit war, es mit ihrem Sohn zu besprechen.
Poncin empfiehlt Eltern, Gespräche über Sex und Chatbots eher neugierig als ängstlich anzugehen. Einfach ein Kind zu fragen, ob es in seinen Chatbot-Interaktionen auf etwas “Seltsames oder Sexuelles” gestoßen ist, kann ein Ausgangspunkt für ein entscheidendes Gespräch sein. Wenn unangemessene Inhalte entdeckt werden, ist es unerlässlich, professionelle Hilfe von Therapeuten zu suchen, die auf Kindheitstraumata spezialisiert sind.
Garcias Trauer über den Verlust ihres Sohnes ist spürbar, als sie von seinen vielen Talenten und Leidenschaften – Basketball, Wissenschaft, Mathematik – erzählt, während sie sich für die Sensibilisierung für KI-Sicherheit einsetzt. “Ich versuche, Gerechtigkeit für mein Kind zu erreichen, und ich versuche, andere Eltern zu warnen, damit sie nicht die gleiche Verwüstung durchmachen, die ich durchgemacht habe”, sagt sie unter Tränen. “Er war so ein tolles Kind.”
