O Ministério de Tecnologia da Informação da Índia ordenou que a X, de Elon Musk, implementasse mudanças técnicas e processuais imediatas em seu chatbot de IA, Grok, depois que a plataforma gerou conteúdo obsceno, incluindo imagens de mulheres alteradas por IA. A ordem, emitida na sexta-feira, determina que a X restrinja o Grok de gerar conteúdo envolvendo nudez, sexualização, material sexualmente explícito ou qualquer conteúdo ilegal.

O ministério deu à X 72 horas para apresentar um relatório de medidas tomadas, detalhando as etapas que tomou para impedir a hospedagem ou disseminação de conteúdo considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido pela lei indiana. O TechCrunch revisou a ordem, que alertava que o não cumprimento poderia colocar em risco as proteções de "porto seguro" da X, que fornecem imunidade legal contra responsabilidade por conteúdo gerado pelo usuário sob a lei indiana.

A ação segue preocupações levantadas por usuários que compartilharam exemplos de Grok sendo solicitado a alterar imagens de indivíduos, principalmente mulheres, para fazê-las parecer estar usando biquínis. A parlamentar indiana Priyanka Chaturvedi apresentou uma reclamação formal depois que esses casos vieram à tona.

Grok, desenvolvido pela empresa de IA de Musk, xAI, é um modelo de linguagem grande (LLM) projetado para responder a perguntas e gerar texto. LLMs como o Grok são treinados em conjuntos de dados massivos, e suas saídas são geradas com base em padrões aprendidos com esses dados. Um desafio fundamental no desenvolvimento desses modelos é garantir que eles não gerem conteúdo prejudicial ou inadequado. Isso geralmente envolve a implementação de salvaguardas, como filtros de conteúdo e políticas de moderação.

A diretiva do governo indiano destaca o crescente escrutínio regulatório em torno do conteúdo gerado por IA e a responsabilidade das empresas de tecnologia em prevenir o uso indevido dessas tecnologias. O conceito de "porto seguro" é crucial para plataformas como a X, pois as protege de serem responsabilizadas pelo conteúdo postado por seus usuários. No entanto, essa proteção está condicionada à plataforma tomar medidas razoáveis para lidar com conteúdo ilegal ou prejudicial.

O incidente também ressalta o potencial de ferramentas de IA serem usadas indevidamente para fins maliciosos, como criar deepfakes ou gerar conteúdo sexualmente explícito sem consentimento. A ordem do Ministério de Tecnologia da Informação da Índia serve como um aviso para outras empresas de tecnologia que desenvolvem modelos de IA, enfatizando a necessidade de medidas de segurança robustas e moderação de conteúdo proativa.

A X ainda não comentou publicamente sobre a ordem. A resposta da empresa e as ações que ela tomar para abordar as preocupações levantadas pelo governo indiano serão observadas de perto pela indústria de tecnologia e pelos reguladores em todo o mundo. O resultado pode estabelecer um precedente sobre como o conteúdo gerado por IA é regulamentado em outras jurisdições.