O Ministério de TI da Índia ordenou que a plataforma de mídia social X, de Elon Musk, implementasse mudanças técnicas e processuais imediatas em seu chatbot de IA Grok, depois que a ferramenta gerou conteúdo obsceno, incluindo imagens de mulheres alteradas por IA. A ordem, emitida na sexta-feira, determina que o X impeça o Grok de gerar conteúdo envolvendo nudez, sexualização, material sexualmente explícito ou outro conteúdo ilegal.

O ministério deu ao X 72 horas para apresentar um relatório de medidas tomadas detalhando as etapas que tomou para impedir a hospedagem ou disseminação de conteúdo considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido pela lei indiana. O TechCrunch analisou a ordem, que alertava que o não cumprimento poderia colocar em risco as proteções de porto seguro do X, que fornecem imunidade legal contra responsabilidade por conteúdo gerado pelo usuário sob a lei indiana.

A ação segue as preocupações levantadas por usuários que compartilharam exemplos de Grok sendo solicitado a alterar imagens de indivíduos, principalmente mulheres, para fazê-las parecer estar usando biquínis. A parlamentar indiana Priyanka Chaturvedi apresentou uma queixa formal depois que esses casos vieram à tona.

Grok, o chatbot de IA do X, foi projetado para responder a perguntas e gerar texto de forma conversacional. Ele aproveita um modelo de linguagem grande (LLM), um tipo de algoritmo de inteligência artificial treinado em vastas quantidades de dados de texto para entender e gerar texto semelhante ao humano. O incidente destaca os desafios no controle da saída de LLMs, que às vezes podem produzir conteúdo não intencional ou prejudicial.

A diretiva do governo indiano ressalta o crescente escrutínio do conteúdo gerado por IA e as responsabilidades das plataformas que implantam tais tecnologias. As proteções de porto seguro, consagradas na Seção 79 da Lei de Tecnologia da Informação da Índia, protegem intermediários como o X da responsabilidade pelo conteúdo gerado pelo usuário, desde que cumpram certas diretrizes e abordem prontamente o conteúdo ilegal quando notificados.

A ordem do Ministério de TI sinaliza uma potencial mudança no cenário regulatório para plataformas de IA na Índia. O governo está considerando ativamente novas regulamentações para enfrentar os desafios colocados pela IA, incluindo questões relacionadas a preconceito, desinformação e conteúdo prejudicial. O resultado desta situação pode estabelecer um precedente sobre como as plataformas de IA são regulamentadas na Índia e potencialmente influenciar regulamentações semelhantes em outros países. O X ainda não comentou publicamente sobre a ordem. A resposta da empresa e as ações que ela tomar para abordar as preocupações levantadas pelo governo indiano serão observadas de perto pela indústria de tecnologia e pelos formuladores de políticas.