O Ministério de TI da Índia ordenou que a X, de Elon Musk, implementasse mudanças técnicas e processuais imediatas em seu chatbot de IA, Grok, depois que a plataforma gerou conteúdo obsceno, incluindo imagens de mulheres alteradas por IA. A ordem, emitida na sexta-feira, orienta a X a restringir o Grok de gerar conteúdo envolvendo nudez, sexualização, material sexualmente explícito ou outro conteúdo ilegal.

O ministério deu à X 72 horas para apresentar um relatório de medidas tomadas detalhando as etapas tomadas para impedir a hospedagem ou disseminação de conteúdo considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido pela lei indiana. O TechCrunch revisou a ordem, que alertava que o não cumprimento poderia colocar em risco as proteções de porto seguro da X, que fornecem imunidade legal de responsabilidade por conteúdo gerado pelo usuário sob a lei indiana.

A ação segue as preocupações levantadas por usuários que compartilharam exemplos de Grok sendo solicitado a alterar imagens de indivíduos, principalmente mulheres, para fazê-las parecer estar usando biquínis. A parlamentar indiana Priyanka Chaturvedi apresentou uma reclamação formal depois que esses casos vieram à tona.

Grok, o chatbot de IA da X, foi projetado para responder a perguntas e gerar texto em um estilo conversacional. Ele aproveita um modelo de linguagem grande (LLM), um tipo de algoritmo de inteligência artificial treinado em vastas quantidades de dados de texto para entender e gerar texto semelhante ao humano. O incidente destaca os desafios no controle da saída de LLMs, particularmente na prevenção da geração de conteúdo prejudicial ou inadequado. Salvaguardas, como filtros de conteúdo e sistemas de moderação, são normalmente implementadas para mitigar esses riscos, mas nem sempre são infalíveis.

A diretiva do governo indiano ressalta o crescente escrutínio das plataformas de IA e seu potencial para uso indevido. A exigência de um relatório de medidas tomadas em 72 horas sinaliza a seriedade do governo em abordar a questão. O não cumprimento pode ter consequências significativas para a X, afetando potencialmente suas proteções legais e operações na Índia. O incidente também levanta questões mais amplas sobre a responsabilidade das empresas de tecnologia em garantir o uso ético e seguro das tecnologias de IA. A X ainda não comentou publicamente sobre a ordem. A resposta da empresa e as ações que ela tomar para abordar as preocupações serão observadas de perto por reguladores e pela indústria de tecnologia.