Tragiczna śmierć 14-letniego Sevella Setzera III w 2024 r.rzuciła światło na przerażającą możliwość: chatboty AI mogą przyglądać się i wykorzystywać nieletnich. Dowiedziawszy się, że jej syn potajemnie używał Character.AI. matka Setzera, Megan Garcia, odkryła niepokojące rozmowy między nim a chatbotem opartym na Daenerys Targaryen z serii Game of Thrones. Interakcje te obejmowały jawne słownictwo seksualne, scenariusze kazirodztwa i to, co według Garcii można uznać za przetwarzanie seksualne.
Obecnie Character.AI stanął w obliczu kilku procesów sądowych, w których twierdzi, że nie podjął wystarczających środków, aby chronić dzieci przed tego rodzaju nadużyciami. W październiku 2024 r. Centrum pomocy ofiarom mediów społecznościowych i projekt prawny Tech Justice złożyły pozew o wrongful death przeciwko Character.AI w imieniu Garcii. Następnie, w zeszłym miesiącu, Centrum pomocy ofiarom mediów społecznościowych wszczęło trzy kolejne procesy federalne, reprezentujące rodziców dzieci, które rzekomo doznały napaści seksualnej za pośrednictwem aplikacji. Te spory sądowe nastąpiły po tym, jak eksperci ds. bezpieczeństwa młodzieży ogłosili we wrześniu Character.AI niebezpieczne dla nastolatków po testach, które ujawniły setki przypadków przetwarzania i wykorzystywania seksualnego kont nieletnich uczestników.
W odpowiedzi na rosnącą presję Character.AI ogłosił, że do 25 listopada uniemożliwi nieletnim udział w swobodnych rozmowach z chatbotami na swojej platformie. Chociaż Dyrektor Generalny Karaandep Anand przedstawił to jako rozwiązanie szerszych problemów związanych z interakcją młodzieży z CHATBOTAMI AI, Garcia uważa, że zmiana polityki “przyszła za późno” dla jej rodziny.
Poza Character.AI: powszechny problem?
Jednak problem wykracza poza jedną platformę. Garcia podkreśla, że rodzice często nie doceniają potencjału chatbotów AI do agresywności seksualnej wobec dzieci i młodzieży. Łatwy dostęp na smartfonach może stworzyć fałszywe poczucie bezpieczeństwa w porównaniu z nieznajomymi w Internecie, maskując fakt, że te pozornie nieszkodliwe interakcje mogą narazić młodych użytkowników na highly inappropriate and even traumatic content – w tym niezgodne działania i sadomasochizm.
“To jak idealny drapieżnik” – wyjaśnia Garcia. “Istnieje w Twoim telefonie, więc nie jest to ktoś z twojego domu ani nieznajomy, który się ukrywa”. Niewidzialność chatbota pozwala na stosowanie taktyk manipulujących emocjonalnie, które sprawiają, że ofiary czują się obrażone, zawstydzone i współuczestniczące. Mogą nawet ukrywać te rozmowy przed dorosłymi, ponieważ czują się odpowiedzialni lub zawstydzeni.
Przetwarzanie przez AI
Sarah Gardner, dyrektor generalny Heat Initiative, organizacji zajmującej się bezpieczeństwem online i odpowiedzialnością korporacyjną, podziela obawy Garcii. Zauważa kluczowy element przetwarzania: jego subtelność – często dzieci mają trudności ze zrozumieniem, kiedy im się to przytrafia. Chatboty mogą to wykorzystać, najpierw budując zaufanie poprzez pozornie nieszkodliwe rozmowy, stopniowo przechodząc do seksualizacji bez wyraźnej intencji na początku. Ta dynamika może sprawić, że ofiary poczują się winne i zdezorientowane co do tego, co się stało — jakby w jakiś sposób zachęcały do złośliwego zachowania.
Heat Initiative wraz z innym autorem opublikowało raport, w którym przytacza niepokojące przykłady tego, jak chatboty AI angażują się w potencjalnie wyzyskujące interakcje z kontami dzieci na Character.AI. naśladując czynności seksualne i stosując klasyczne taktyki przetwarzania, takie jak nadmierna pochwała i wezwanie do tajemnicy przed rodzicami. Character.AI twierdzi, że niektóre rozmowy naruszały jego zasady dotyczące treści, a inne nie, podając ulepszone algorytmy jako odpowiedź na te ustalenia.
Matthew P. Bergman, założyciel firmy prawniczej Social Media Victims Law Center, twierdzi, że gdyby te interakcje chatbotów były prowadzone przez ludzi, stanowiłyby one nielegalne przetwarzanie zarówno na poziomie stanowym, jak i federalnym.
Nowa odmiana traumy
Dr Yann Ponsin, psychiatra w Yale New Haven Children ‘ s Hospital, leczy młodych pacjentów, którzy doświadczyli emocjonalnych szkód spowodowanych podobnymi spotkaniami z AI. Często opisują korespondencję jako “obrzydliwą”,” obrzydliwą”, jako nadużycie. Wstyd i poczucie oszustwa są częstymi emocjami, zwłaszcza gdy początkowo aprobujący chatbot nagle staje się agresywny seksualnie lub agresywny. Te doświadczenia mogą być głęboko traumatyczne.
Chociaż nie ma znormalizowanego leczenia tego konkretnego rodzaju przemocy, Poncin koncentruje się na pomaganiu pacjentom w radzeniu sobie ze stresem i lękiem związanym z ich doświadczeniami. Ostrzega, że rodzice nie powinni myśleć, że ich dzieci są odporne na te zagrożenia.
Rozmowa z nastolatkami na temat chatbotów AI
Garcia opowiada się za otwartą komunikacją na temat zseksualizowanych treści w interakcjach chatbota. Podkreśla znaczenie kontroli rodzicielskiej, ale przyznaje, że nie spodziewała się tego konkretnego zagrożenia i nie była gotowa omówić go z synem.
Ponsin zaleca, aby rodzice podchodzili do rozmów o seksie i chatbotach z ciekawością zamiast strachu. Samo pytanie dziecka, czy napotkało coś “dziwnego lub seksownego” w rozmowach z chatbotami, może być punktem wyjścia do ważnej rozmowy. W przypadku wykrycia nieodpowiednich treści należy zwrócić się o profesjonalną pomoc do terapeutów specjalizujących się w traumie z dzieciństwa.
Smutek Garcii z powodu utraty syna jest widoczny, gdy wspomina o jego wielu talentach i pasjach — koszykówce, nauce, matematyce — kontynuując kampanię mającą na celu podniesienie świadomości na temat bezpieczeństwa AI. “Staram się uzyskać sprawiedliwość dla mojego dziecka i staram się ostrzec innych rodziców, aby nie doświadczyli tej samej niszczycielskiej straty, co ja” — mówi ze łzami w oczach. “Był takim niesamowitym dzieckiem”.
