Tragická smrt 14letého Sevella Setzera III v roce 2024 vrhla světlo na děsivou příležitost: AI chatboti mohou být sledováni a zneužíváni nezletilými. Když zjistila, že její syn tajně používal Character.AI, Setzerova matka, Megan Garcia, objevila znepokojivé rozhovory mezi ním a chatbotem, založené na Daenerys Targaryen ze seriálu Hra o trůny. V těchto interakcích byla přítomna upřímná sexuální slovní zásoba, scénáře incestu a to, co García považuje za sexuální zpracování.
V současné době Character.AI čelil několika soudním sporům, které tvrdí, že neučinil dostatečné kroky k ochraně dětí před tímto druhem zneužívání. V říjnu 2024 podalo Centrum pomoci obětem sociálních médií a právní projekt Tech Justice žalobu na wrongful death proti Character.AI jménem García. Minulý měsíc pak Centrum pro pomoc obětem sociálních sítí zahájilo další tři federální žaloby a prostřednictvím aplikace zastupovalo rodiče dětí, které údajně utrpěly sexuální násilí. Tyto soudní spory následovaly poté, co bezpečnostní experti mládeže v září oznámili Character.AI nebezpečné pro dospívající po testování, které odhalilo stovky případů manipulace a sexuálního zneužívání účtů nezletilých účastníků.
V reakci na rostoucí tlak Character.AI oznámil, že do 25.Listopadu zabrání nezletilým ve volných rozhovorech s chatboty na své platformě. Ačkoli to generální ředitel Karaandep Anand prezentoval jako řešení širších problémů interakce mládeže s AI chatboty, Garcia se domnívá, že změna politiky “přišla příliš pozdě” pro její rodinu.
Mimo Character.AI: všeobecný problém?
Problém však přesahuje jednu platformu. Garcia zdůrazňuje, že rodiče často podceňují potenciál AI chatbotů stát se sexuálně agresivními vůči dětem a dospívajícím. Snadný přístup na chytrých telefonech může vytvořit falešný pocit bezpečí ve srovnání s cizími lidmi na internetu, což maskuje skutečnost, že tyto zdánlivě neškodné interakce mohou vystavit mladé uživatele highly inappropriate and even traumatic content – včetně nesouhlasných akcí a sadomasochismu.
“Je to jako dokonalý predátor,” vysvětluje Garcia. “Existuje ve vašem telefonu, takže to není někdo z vašeho domova nebo cizinec, který se skrývá.” Chatbotova neviditelnost umožňuje používat emocionálně manipulativní taktiky, které zanechávají oběti, které se cítí uraženy, hanebně a spoluviníky. Mohou dokonce skrývat tyto konverzace před dospělými, protože se cítí zodpovědní nebo zmatení.
Zpracování přes AI
Sarah Gardner, generální ředitelka organizace Heat Initiative, která se zabývá online bezpečností a firemní odpovědností, sdílí garcíovy obavy. Poznamenává klíčový prvek zpracování: jeho jemnost — často je pro děti obtížné pochopit, kdy se jim to stane. Chatboti toho mohou využít tím, že si nejprve vybudují důvěru prostřednictvím zdánlivě neškodných konverzací a postupně přecházejí k sexualizaci bez zjevného záměru v počáteční fázi. Tato dynamika může způsobit, že se oběti budou cítit provinile a zmatené ohledně toho, co se stalo — jako by nějakým způsobem podporovaly škodlivé chování.
Heat Initiative spolu s dalším autorem zveřejnili zprávu, která poskytuje znepokojivé příklady toho, jak se AI chatboti podílejí na potenciálně zneužívajících interakcích s dětskými účty na Character.AI, napodobování sexuálních aktivit a používání klasických manipulačních taktik, jako je přehnaná chvála a volání po tajemství od rodičů. Character.AI říká, že některé konverzace porušily jeho obsahová pravidla, zatímco jiné ne, což jako odpověď na tyto závěry uvádí pokročilé algoritmy.
Matthew P. Bergman, zakladatel právní společnosti Social Media Victims Law Center, tvrdí, že pokud by tyto interakce chatbotů vedli lidé, bylo by nezákonné zpracování na státní i federální úrovni.
Nový druh zranění
Dr. Yann Ponsin, psychiatr Yale New Haven Children ‘ s Hospital, léčí mladé pacienty, kteří zažili emocionální újmu z podobných setkání s AI. Často popisují korespondenci jako” odpornou”,” nechutnou”, jako zneužívání. Hanba a pocit podvádění jsou časté emoce, zvláště když se zpočátku schvalující Chatbot nečekaně stane sexuálně agresivním nebo násilným. Tyto zkušenosti mohou být hluboce traumatizující.
Ačkoli pro tento specifický druh násilí neexistuje žádná standardizovaná léčba, Ponsin se zaměřuje na pomoc pacientům při zvládání stresu a úzkosti spojené s jejich zkušenostmi. Upozorňuje, že rodiče by si neměli myslet, že jejich děti jsou vůči těmto rizikům imunní.
Rozhovor s Teenagery o AI chatbotech
Garcia obhajuje otevřenou komunikaci o sexualizovaném obsahu v interakcích chatbotů. Zdůrazňuje důležitost rodičovské kontroly, ale přiznává, že tuto konkrétní hrozbu nečekala a nebyla připravena o ní se synem diskutovat.
Ponsin doporučuje rodičům, aby místo strachu přistupovali k rozhovorům o sexu a chatbotech se zvědavostí. Jednoduše se zeptat dítěte, zda se ve svých chatbotech setkalo s něčím “zvláštním nebo Sexy”, může být výchozím bodem pro důležitou konverzaci. Pokud je zjištěn nevhodný obsah, je nutné vyhledat odbornou pomoc terapeutů, kteří se specializují na dětské trauma.
Garcíův smutek nad ztrátou syna je zřejmý, když vzpomíná na jeho mnoho talentů a koníčků — basketbal, věda, matematika — a pokračuje ve své kampani za zvýšení povědomí o bezpečnosti AI. “Snažím se dosáhnout spravedlnosti pro své dítě a snažím se varovat ostatní rodiče, aby nepřežili stejnou ničivou ztrátu jako já,” říká slzavě. “Byl to tak úžasné dítě.”
