As autoridades da Indonésia e da Malásia bloquearam temporariamente o acesso ao chatbot da xAI, Grok, em resposta à proliferação de deepfakes sexualizados não consensuais gerados pela IA. Estas ações representam as respostas governamentais mais assertivas ao aumento de imagens geradas por IA, frequentemente retratando mulheres e menores reais, e por vezes apresentando violência, que os utilizadores publicaram através do Grok na rede social X. Tanto a X como a xAI fazem parte da mesma empresa.

A ministra das comunicações e digital da Indonésia, Meutya Hafid, afirmou que o governo considera a criação e distribuição de deepfakes sexuais não consensuais uma grave violação dos direitos humanos, da dignidade e da segurança dos cidadãos no domínio digital. A declaração de Hafid foi partilhada com o The Guardian e outros órgãos de comunicação social no sábado. O ministério indonésio também terá convocado funcionários da X para discutir o assunto. O The New York Times noticiou que o governo malaio anunciou uma proibição semelhante no domingo.

Os deepfakes, tecnicamente conhecidos como mídia sintética, utilizam inteligência artificial, especificamente técnicas de aprendizagem profunda, para criar imagens, vídeos ou gravações de áudio realistas, mas fabricadas. Neste caso, os utilizadores conseguiram solicitar ao Grok que gerasse conteúdo explícito e explorador com indivíduos sem o seu consentimento. As imagens resultantes foram então partilhadas no X, amplificando o dano.

As proibições na Indonésia e na Malásia seguem-se a outras ações governamentais tomadas em resposta ao problema. O ministério de TI da Índia ordenou à xAI que implementasse medidas para impedir que o Grok gerasse conteúdo obsceno. A Comissão Europeia também ordenou à empresa que conservasse todos os documentos relacionados com o Grok, abrindo potencialmente caminho para uma investigação formal sobre as capacidades e salvaguardas da IA.

O impacto destas proibições na indústria pode ser significativo. Elas destacam as crescentes preocupações em torno do uso indevido de tecnologias de IA e o potencial de danos. As ações tomadas pela Indonésia e pela Malásia podem levar outras nações a considerar medidas semelhantes, levando potencialmente a um aumento da regulamentação das plataformas alimentadas por IA e a uma maior ênfase na moderação de conteúdo e na segurança do utilizador. O incidente também sublinha os desafios que os desenvolvedores de IA enfrentam para impedir o uso indevido das suas tecnologias, particularmente no contexto de modelos de IA generativa como o Grok, que são projetados para responder a uma ampla gama de solicitações do utilizador. O estado atual das proibições permanece em vigor, e são esperados novos desenvolvimentos à medida que as discussões entre os funcionários do governo e os representantes da X continuam.