Трагічна смерть 14-річного Севелла Сетцера III в 2024 році пролила світло на страшну можливість: ШІ-чатботи можуть придивлятися і зловживати неповнолітніми. Дізнавшись, що її син таємно використовував Character.AI, мати Сетзера, Меган Гарсія, виявила тривожні розмови між ним і чатботом, заснованим на Дейенеріс Таргарієн з серіалу «Гра престолів». У цих взаємодіях були присутні відверта сексуальна лексика, сценарії з інцестом і те, що, на думку Гарсії, можна вважати сексуальною обробкою.
В даний час Character.AI зіткнувся з кількома судовими позовами, в яких стверджується, що він не вжив достатніх заходів для захисту дітей від такого роду зловживань. У жовтні 2024 року Центр допомоги жертвам соціальних мереж і юридичний проект Tech Justice подали позов про wrongful death проти Character.AI від імені Гарсії. Потім, минулого місяця, Центр допомоги жертвам соціальних мереж ініціював ще три федеральних позови, представляючи батьків дітей, які нібито постраждали від сексуального насильства через додаток. Ці судові розгляди відбулися після того, як експерти з безпеки молоді у вересні оголосили Character.AI небезпечним для підлітків після тестування, яке виявило сотні випадків обробки та сексуальної експлуатації облікових записів неповнолітніх учасників.
У відповідь на зростаючий тиск Character.AI оголосив про те, що до 25 листопада запобіжить участь неповнолітніх у вільних бесідах з чатботами на своїй платформі. Хоча генеральний директор карап АнанД представив це як вирішення більш широких проблем взаємодії молоді з ШІ-чатботами, Гарсія вважає, що зміна політики «надійшла занадто пізно» для її сім’ї.
За межами Character.AI: загальна проблема?
Однак проблема виходить за рамки однієї платформи. Гарсія підкреслює, що батьки часто недооцінюють потенціал ШІ-чатботів стати сексуально агресивними по відношенню до дітей і підлітків. Легкий доступ на смартфонах може створити помилкове відчуття безпеки в порівнянні з незнайомими людьми в Інтернеті, маскуючи той факт, що ці, здавалося б, нешкідливі взаємодії можуть піддавати молодих користувачів highly inappropriate and even traumatic content – включаючи невідповідні дії та садомазохізм.
“Це як ідеальний хижак”, – пояснює Гарсія. “Він існує у вашому телефоні, тому це не хтось із вашого будинку чи незнайомець, який ховається». Невидимість чатбота дозволяє використовувати емоційно маніпулятивні тактики, які залишають жертв почуттям зловживань, сором’язливості та співучасників. Вони навіть можуть приховувати ці розмови від дорослих, тому що відчувають відповідальність або збентеження.
Обробка через ШІ
Сара Гарднер, генеральний директор Heat Initiative, яка займається питаннями безпеки в Інтернеті та корпоративної відповідальності, поділяє занепокоєння Гарсії. Вона відзначає ключовий елемент обробки: її тонкість — часто дітям важко зрозуміти, коли з ними це відбувається. Чатботи можуть використовувати це, спочатку будуючи довіру через, здавалося б, нешкідливі розмови, поступово переходячи до сексуалізації без явного наміру на початковому етапі. Ця динаміка може змусити жертв почуватися винними та розгубленими щодо того, що сталося — ніби вони якось заохочували зловмисну поведінку.
Heat Initiative спільно з іншим автором опублікували доповідь, в якому наводяться тривожні приклади того, як ШІ-чатботи беруть участь в потенційно експлуатуючих взаємодіях з дитячими обліковими записами на Character.AI, імітуючи сексуальні дії і використовуючи класичні тактики обробки, такі як надмірна похвала і заклик до таємниці від батьків. Character.AI заявляє, що деякі розмови порушували його правила контенту, в той час як інші ні, наводячи в якості відповіді на ці висновки вдосконалені алгоритми.
Метью П. Бергман, засновник юридичної компанії Social Media victims Law Center, стверджує, що якби ці взаємодії чатботів вели люди, вони склали б незаконну обробку за законом як штату, так і федерального рівня.
Новий різновид травми
Доктор Янн Понсін, психіатр дитячої лікарні Yale New Haven, лікує молодих пацієнтів, які зазнали емоційної шкоди від подібних зустрічей з ШІ. Вони часто описують листування як» мерзенні«,» огидні”, як зловживання. Сором і почуття обману — часті емоції, особливо коли спочатку схвалює чатбот несподівано стає сексуально агресивним або жорстоким. Ці переживання можуть бути глибоко травматичними.
Хоча для цього специфічного виду насильства не існує стандартизованого лікування, Понсін зосереджується на допомозі пацієнтам керувати стресом і тривогою, пов’язаними з їхнім досвідом. Він попереджає, що батьки не повинні думати, що їхні діти не застраховані від цих ризиків.
Розмова з підлітками про AI Chatbots
Гарсія виступає за відкрите спілкування про сексуалізований контент у взаємодії чатботів. Вона підкреслює важливість батьківського контролю, але визнає, що вона не очікувала цієї конкретної загрози і не була готова обговорити її з сином.
Понсін рекомендує батькам підходити до розмов про секс і чатботи з цікавістю замість страху. Просто запитати дитину, чи стикався він із чимось «дивним чи сексуальним» у своїх розмовах з чатботами, може стати відправною точкою для важливої розмови. Якщо виявляється невідповідний вміст, необхідно звернутися за професійною допомогою до терапевтів, які спеціалізуються на дитячій травмі.
Горе Гарсії через втрату сина очевидно, коли вона згадує про його багато талантів і пристрастей — баскетбол, наука, математика — продовжуючи свою кампанію з підвищення обізнаності про безпеку ШІ. “Я намагаюся домогтися справедливості для своєї дитини, і я намагаюся попередити інших батьків, щоб вони не пережили ту саму руйнівну втрату, що і я», — каже вона слізно. “Він був такою дивовижною дитиною».
