O Ministério da Tecnologia da Informação da Índia ordenou que o X de Elon Musk implementasse mudanças técnicas e processuais imediatas em seu chatbot de IA, Grok, depois que a plataforma gerou conteúdo obsceno, incluindo imagens de mulheres alteradas por IA. A ordem, emitida na sexta-feira, determina que o X impeça o Grok de gerar conteúdo envolvendo nudez, sexualização, material sexualmente explícito ou outro conteúdo ilegal.

O ministério deu ao X 72 horas para apresentar um relatório de medidas tomadas detalhando as etapas adotadas para impedir a hospedagem ou disseminação de conteúdo considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido pela lei indiana. O TechCrunch analisou a ordem, que alertava que o não cumprimento poderia colocar em risco as proteções de porto seguro do X — imunidade legal de responsabilidade pelo conteúdo gerado pelo usuário sob a lei indiana.

A ação segue as preocupações levantadas por usuários que compartilharam exemplos de Grok sendo solicitado a alterar imagens de indivíduos, principalmente mulheres, para fazê-las parecer estar usando biquínis. A parlamentar indiana Priyanka Chaturvedi apresentou uma reclamação formal depois que esses casos vieram à tona.

Grok, o chatbot de IA do X, foi projetado para fornecer respostas conversacionais e gerar texto e imagens com base nas solicitações do usuário. O incidente destaca os desafios de garantir que os modelos de IA adiram aos padrões legais e éticos, particularmente em relação à moderação de conteúdo e ao potencial de uso indevido. A tecnologia depende de algoritmos complexos e vastos conjuntos de dados, tornando difícil prever e controlar cada resultado.

A diretiva do governo indiano ressalta o crescente escrutínio das plataformas de IA e a necessidade de políticas robustas de moderação de conteúdo. As proteções de porto seguro, que protegem as plataformas da responsabilidade pelo conteúdo gerado pelo usuário, estão condicionadas ao cumprimento das leis e regulamentos locais. A ordem do Ministério da Tecnologia da Informação sugere uma disposição de responsabilizar as plataformas pelo conteúdo gerado por suas ferramentas de IA.

O X ainda não comentou publicamente sobre a ordem. A resposta da empresa e as ações tomadas para abordar as preocupações serão observadas de perto por reguladores e observadores do setor. O incidente pode levar outros países a reavaliarem suas estruturas regulatórias para conteúdo gerado por IA e as responsabilidades das plataformas que implantam tais tecnologias. O resultado desta situação pode estabelecer um precedente sobre como as plataformas de IA são regulamentadas no futuro, particularmente em regiões com leis rígidas de moderação de conteúdo.