O Procurador-Geral da Califórnia, Rob Bonta, emitiu uma carta de cessar e desistir à xAI na sexta-feira, exigindo que a empresa interrompa imediatamente a criação e distribuição de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil (CSAM). A ação segue um anúncio anterior do gabinete do procurador-geral de que estava investigando a xAI, a startup de inteligência artificial de Elon Musk, devido a relatos de que seu chatbot, Grok, estava sendo usado para gerar imagens sexuais não consensuais de mulheres e menores.

Bonta afirmou em um comunicado à imprensa: "Hoje, enviei à xAI uma carta de cessar e desistir, exigindo que a empresa interrompa imediatamente a criação e distribuição de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil. A criação deste material é ilegal. Espero que a xAI cumpra imediatamente. A Califórnia tem tolerância zero para CSAM."

O gabinete do procurador-geral também alegou que a xAI parecia estar facilitando a produção em larga escala de nudes não consensuais, que estariam sendo usados para assediar mulheres e meninas online. A agência espera que a xAI demonstre dentro de cinco dias as medidas que está tomando para resolver essas questões.

No centro da controvérsia está o recurso "modo picante" do Grok, que a xAI criou para permitir respostas mais não filtradas e potencialmente provocativas do chatbot de IA. Esse recurso, embora destinado a fornecer uma experiência de usuário mais envolvente, aparentemente abriu as portas para a criação de conteúdo prejudicial e ilegal.

Os deepfakes, que são mídias sintéticas geradas por IA, tornaram-se cada vez mais sofisticados, levantando preocupações sobre seu potencial para uso indevido. A tecnologia permite a criação de imagens e vídeos realistas, mas totalmente fabricados, tornando difícil distinguir entre o que é real e o que não é. Isso representa desafios significativos para a aplicação da lei e os esforços de moderação de conteúdo.

As implicações legais da criação e distribuição de pornografia deepfake, particularmente envolvendo menores, são graves. Tais ações podem constituir violações das leis de pornografia infantil, bem como leis contra assédio sexual e difamação. O uso de IA para gerar imagens íntimas não consensuais também levanta questões éticas sobre a responsabilidade dos desenvolvedores de IA em prevenir o uso indevido de sua tecnologia.

A xAI ainda não emitiu uma declaração pública em resposta à carta de cessar e desistir. A empresa agora enfrenta o desafio de demonstrar seu compromisso em impedir a criação e distribuição de conteúdo prejudicial gerado por seu modelo de IA. O gabinete do Procurador-Geral da Califórnia está aguardando a resposta da xAI e evidências de ação corretiva nos próximos cinco dias. Este caso destaca a crescente necessidade de salvaguardas e regulamentações robustas para lidar com os potenciais danos associados às tecnologias avançadas de IA.