Indonésie a Malajsie se staly prvními zeměmi, které oficiálně zakázaly chatbota Groka s umělou inteligencí Elona Muska, s odkazem na jeho rozsáhlé zneužívání k vytváření nekonsensuálních, sexuálně explicitních deepfakes. Tento krok odráží rostoucí obavy po celém světě, že generativní nástroje umělé inteligence překonávají stávající obranné mechanismy, což umožňuje vytváření a distribuci realistického, ale vyrobeného obsahu.
Hlavní problém: Nekontrolované vytváření Deepfakes
Grok, přístupný prostřednictvím platformy sociálních médií X Elona Muska, se dostal pod palbu kvůli své schopnosti vytvářet zmanipulované obrázky, včetně obrázků žen v sexuálně provokativních pózách a dokonce obrázků zahrnujících nezletilé. Regulátoři v obou zemích jihovýchodní Asie dospěli k závěru, že současné kontroly jsou nedostatečné, aby zabránily vytváření a distribuci falešné pornografie.
“Nekonsensuální sexuální předstírání je vážným porušením lidských práv, důstojnosti a bezpečnosti občanů v digitálním prostoru,” řekl indonéský ministr komunikací a digitálních záležitostí Meitya Hafid.
Specifické problémy vznesené úřady
Indonéští úředníci zjistili, že Grok nemá účinné ochranné mechanismy proti vytváření pornografického obsahu založeného na skutečných obrázcích Indonésanů. To představuje značné riziko pro soukromí a práva na fotografie s potenciálem vážného psychického, sociálního a dobrého poškození, pokud je s fotografiemi manipulováno bez souhlasu.
Stejně tak Malajská komise pro komunikace a multimédia uvedla „opakované zneužití“ nástroje k vytváření obscénního a nekonsensuálního obsahu. Navzdory varováním zaslaným společnostem X Corp. a xAI, aby posílily bezpečnostní mechanismy, odpověď silně spoléhala na mechanismy hlášení uživatelů, které byly shledány jako nedostatečné.
Omezený přístup a regulační vrácení zpět
Obě země uvalily na Groka dočasná omezení, dokud nebudou zavedeny účinné ochranné mechanismy. V sobotu přístup zablokovala Indonésie, v neděli následovala Malajsie. Tento krok následuje po globálním odsouzení schopností Groka vytvářet obrázky, zejména po zavedení „akutního režimu“, který umožňuje vytváření obsahu pro dospělé.
Zatímco Grok minulý týden omezil generování a úpravy obrázků pro placené uživatele, kritici tvrdí, že tento krok plně neřeší problém. Širší kontrola se rozšiřuje na další regiony, včetně Evropské unie, Británie, Indie a Francie, kde se regulátoři stále více obávají možnosti zneužití.
Důsledky pro regulaci umělé inteligence
Zákazy v Indonésii a Malajsii zdůrazňují naléhavou potřebu silnější regulace AI. Současné spoléhání se na samoregulaci a odpovědnost uživatelů je zjevně nedostatečné k tomu, aby se zabránilo škodlivému používání generativních nástrojů umělé inteligence. Incident vyvolává zásadní otázky týkající se odpovědnosti, souhlasu a etických hranic obsahu generovaného umělou inteligencí.
Omezení vysílají jasnou zprávu: platformy, které umožňují vytváření a distribuci nekonsensuálních deepfakes, budou čelit rostoucímu právnímu a regulačnímu tlaku. Bez silnějších ochranných mechanismů zůstává budoucnost nástrojů umělé inteligence, jako je Grok, v mnoha částech světa nejistá.





























