A Indonésia e a Malásia se tornaram os primeiros países a banir oficialmente o chatbot Grok AI de Elon Musk, citando o uso indevido desenfreado para a criação de deepfakes não consensuais e sexualmente explícitos. A medida reflete uma preocupação global crescente de que as ferramentas generativas de IA estão a ultrapassar as salvaguardas existentes, permitindo a produção e difusão de conteúdos realistas mas fabricados.
O problema central: geração de deepfake não verificada
Grok, acessível através da plataforma de mídia social X de Musk, tem sido fortemente criticado por sua capacidade de gerar imagens manipuladas, incluindo representações de mulheres em poses sexualmente sugestivas e até imagens envolvendo menores. Os reguladores de ambos os países do Sudeste Asiático determinaram que os actuais controlos eram insuficientes para impedir a criação e distribuição de material pornográfico falso.
“Os deepfakes sexuais não consensuais são uma grave violação dos direitos humanos, da dignidade e da segurança dos cidadãos no espaço digital”, afirmou o Ministro da Comunicação e Assuntos Digitais da Indonésia, Meutya Hafid.
Preocupações específicas levantadas pelas autoridades
As autoridades indonésias descobriram que Grok carecia de salvaguardas eficazes para impedir que os utilizadores criassem conteúdo pornográfico baseado em imagens reais de residentes indonésios. Isto representa um risco significativo para a privacidade e os direitos de imagem, com potencial para graves danos psicológicos, sociais e de reputação quando as fotos são manipuladas sem consentimento.
Da mesma forma, a Comissão de Comunicações e Multimédia da Malásia citou o “uso indevido repetido” da ferramenta para gerar conteúdos obscenos e não consensuais. Apesar dos avisos emitidos à X Corp. e à xAI exigindo salvaguardas mais fortes, a resposta dependeu fortemente de mecanismos de denúncia de utilizadores, que se revelaram inadequados.
Acesso limitado e reação regulatória
Ambos os países impuseram restrições temporárias a Grok até que salvaguardas eficazes sejam implementadas. A Indonésia bloqueou o acesso no sábado, enquanto a Malásia fez o mesmo no domingo. Esta ação segue uma reação global contra as capacidades de geração de imagens do Grok, especialmente após a introdução de um “modo picante” que permite a criação de conteúdo explícito.
Embora Grok tenha limitado na semana passada a geração e edição de imagens a usuários pagantes, os críticos argumentam que essa medida não resolve totalmente o problema. O escrutínio mais amplo estende-se a outras regiões, incluindo a União Europeia, a Grã-Bretanha, a Índia e a França, onde os reguladores estão cada vez mais preocupados com o potencial de abuso.
Implicações para a regulamentação da IA
As proibições na Indonésia e na Malásia destacam a necessidade urgente de regulamentações mais robustas sobre IA. A atual dependência da autorregulação e da denúncia dos utilizadores é claramente insuficiente para impedir a utilização maliciosa de ferramentas de IA generativas. O incidente levanta questões fundamentais sobre responsabilidade, consentimento e limites éticos do conteúdo gerado por IA.
As restrições enviam uma mensagem clara: as plataformas que permitem a criação e disseminação de deepfakes não consensuais enfrentam uma pressão legal e regulamentar crescente. Sem salvaguardas mais fortes, o futuro de ferramentas de IA como o Grok permanece incerto em muitas partes do mundo.
