O Ministério de TI da Índia ordenou que o X de Elon Musk implementasse mudanças técnicas e processuais imediatas em seu chatbot de IA, Grok, depois que a ferramenta gerou conteúdo obsceno, incluindo imagens de mulheres alteradas por IA. A ordem, emitida na sexta-feira, determina que o X impeça o Grok de gerar conteúdo envolvendo nudez, sexualização, material sexualmente explícito ou outro conteúdo ilegal.

O ministério deu ao X 72 horas para apresentar um relatório de medidas tomadas detalhando as etapas adotadas para impedir a hospedagem ou disseminação de conteúdo considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido pela lei indiana. O TechCrunch revisou a ordem, que alertava que o não cumprimento poderia colocar em risco as proteções de "porto seguro" do X, que fornecem imunidade legal contra responsabilidade por conteúdo gerado pelo usuário sob a lei indiana.

A medida segue as preocupações levantadas por usuários que compartilharam exemplos de Grok sendo solicitado a alterar imagens de indivíduos, principalmente mulheres, para fazê-las parecer estar usando biquínis. A parlamentar indiana Priyanka Chaturvedi apresentou uma queixa formal depois de ver esses exemplos.

Grok, desenvolvido pela empresa de IA de Musk, xAI, é um modelo de linguagem grande projetado para responder a perguntas e gerar texto. Modelos de linguagem grandes (LLMs) são treinados em conjuntos de dados massivos de texto e código, permitindo que eles executem tarefas como tradução, resumo e criação de conteúdo. No entanto, um desafio comum com os LLMs é garantir que eles não gerem conteúdo prejudicial ou inadequado. Isso geralmente envolve a implementação de salvaguardas, como filtros de conteúdo e políticas de moderação.

A ordem do governo indiano destaca o crescente escrutínio do conteúdo gerado por IA e as responsabilidades das plataformas que hospedam essa tecnologia. As proteções de "porto seguro", referenciadas na ordem, são cruciais para plataformas como o X, pois as protegem da responsabilidade legal pelo conteúdo postado pelos usuários, desde que cumpram certas diretrizes e tomem medidas contra conteúdo ilegal quando notificados. Perder essas proteções pode expor o X a processos judiciais e aumentar significativamente seus custos operacionais na Índia.

O X ainda não comentou publicamente sobre a ordem. A resposta da empresa e as ações que ela tomar para cumprir as diretrizes do governo indiano serão observadas de perto por outros países e empresas de tecnologia que lidam com questões semelhantes em torno da moderação de conteúdo de IA. O incidente ressalta o debate em curso sobre as implicações éticas da IA e a necessidade de estruturas regulatórias robustas para governar seu uso. O resultado desta situação pode estabelecer um precedente sobre como as plataformas de IA são regulamentadas na Índia e potencialmente influenciar os padrões globais.