Autoridades indonésias informaram no sábado que estão bloqueando temporariamente o acesso ao chatbot Grok da xAI, citando preocupações com a geração de deepfakes sexualizados não consensuais. A medida representa uma das ações governamentais mais decisivas tomadas em resposta à proliferação de imagens geradas por IA, frequentemente retratando mulheres e menores reais em cenários sexualmente explícitos e abusivos, que os usuários conseguiram gerar através do Grok na rede social X. Tanto a X quanto a xAI estão sob a mesma propriedade.

Meutya Hafid, ministra de comunicações e digital da Indonésia, afirmou que "O governo considera a prática de deepfakes sexuais não consensuais como uma séria violação dos direitos humanos, da dignidade e da segurança dos cidadãos no espaço digital", de acordo com uma declaração compartilhada com o Guardian e outras publicações. O ministério também teria convocado funcionários da X para discutir o assunto.

Deepfakes, neste contexto, referem-se a mídia gerada por IA, tipicamente imagens ou vídeos, que retratam de forma convincente indivíduos fazendo ou dizendo coisas que eles nunca realmente fizeram. Grok, o chatbot da xAI, utiliza grandes modelos de linguagem (LLMs) para gerar texto e, em alguns casos, imagens com base em prompts do usuário. A preocupação surge quando esses LLMs são usados para criar conteúdo sexual realista, mas fabricado, sem o consentimento dos indivíduos retratados.

O incidente destaca o crescente desafio de regulamentar o conteúdo gerado por IA e o potencial de uso indevido de ferramentas poderosas de IA generativa. O impacto na indústria pode ser significativo, potencialmente levando a regulamentações mais rigorosas e maior escrutínio das políticas de moderação de conteúdo das empresas de IA.

Outros órgãos governamentais também tomaram medidas. O ministério de TI da Índia ordenou que a xAI impedisse o Grok de gerar conteúdo obsceno. A Comissão Europeia solicitou que a empresa retivesse todos os documentos relacionados ao Grok, potencialmente preparando o terreno para uma investigação formal. No Reino Unido, o regulador de comunicações Ofcom comentou sobre o assunto.

O bloqueio do Grok na Indonésia permanece temporário, pendente de novas discussões entre autoridades indonésias e representantes da X. O resultado dessas discussões provavelmente influenciará a futura disponibilidade do Grok na Indonésia e poderá estabelecer um precedente para como outros países abordam a questão dos deepfakes gerados por IA.