A inteligência artificial está em toda parte agora.
E no Discord? Isso fez com que cerca de oito mil pessoas tivessem acesso ao aplicativo bloqueado. Também não há uma boa razão. Apenas barulho.
A empresa confirmou essa bagunça em um tópico no X. Parece que um sistema de moderação de IA viu imagens inofensivas e entrou em pânico.
Estamos falando de texturas de videogame.
Como padrões de tabuleiro de xadrez. Coisas totalmente inócuas. A IA sinalizou tudo como “material prejudicial”. Discord diz que um humano da Trust and Safety sempre analisa primeiro o conteúdo sinalizado. Claro. Mas essa rede de segurança falhou aqui. Milhares perderam o acesso às suas contas em maio.
Está acontecendo.
E ainda assim, eles estão consertando isso.
“Um membro da nossa equipe de confiança e segurança analisa o conteúdo sinalizado”
Tecnicamente verdade. Praticamente inútil se você for banido enquanto espera alguém olhar para ele. O Discord está agora em processo de restauração dessas contas.
Veja desta forma. O TechCrunch apontou algo que faz sentido em uma lógica algorítmica distorcida. Os padrões xadrez lembram técnicas usadas para ocultar conteúdo impróprio. Material de exploração especificamente.
Então o bot fez seu trabalho? Ele viu o padrão, acionou o alarme e fechou a porta.
Fácil de racionalizar.
É mais difícil conviver se você for um desses oito mil usuários. Esta é a prova exata de por que não podemos simplesmente entregar as chaves às máquinas. O olho humano percebe a diferença instantaneamente. O contexto é importante.
A IA não conhece o contexto. Ele vê formas e suposições.
Mas aqui está a realidade em que estamos caminhando. A IA está se tornando uma parte maior de tudo. Está em nossos telefones, nossos carros, nossas caixas de entrada. Espere que isso continue acontecendo.
Será este o futuro da segurança online? Ou apenas o começo de uma longa dor de cabeça?
Nenhum arco elegante neste.
