O Procurador-Geral da Califórnia, Rob Bonta, emitiu uma carta de cessar e desistir para a xAI na sexta-feira, exigindo que a empresa interrompa imediatamente a criação e distribuição de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil (CSAM). A ação segue um anúncio anterior desta semana de que o gabinete do procurador-geral da Califórnia estava investigando a xAI, a empresa de inteligência artificial de Elon Musk, devido a relatos de que seu chatbot, Grok, estava sendo usado para gerar imagens sexuais não consensuais de mulheres e menores.

Bonta afirmou em um comunicado à imprensa: "Hoje, enviei à xAI uma carta de cessar e desistir, exigindo que a empresa interrompa imediatamente a criação e distribuição de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil. A criação desse material é ilegal. Espero que a xAI cumpra imediatamente. A Califórnia tem tolerância zero para CSAM."

O gabinete do procurador-geral também alegou que a xAI parecia estar facilitando a produção em larga escala de nudes não consensuais, que estariam sendo usados para assediar mulheres e meninas online. A agência espera que a xAI demonstre dentro de cinco dias as medidas que está tomando para resolver essas questões.

No centro da controvérsia está o recurso "modo picante" do Grok, que a xAI criou para permitir respostas mais não filtradas e potencialmente provocativas da IA. Esse recurso, embora destinado a oferecer uma experiência de usuário mais envolvente, aparentemente abriu as portas para a geração de conteúdo prejudicial e ilegal.

Deepfakes, mídia sintética gerada por IA que pode retratar de forma convincente indivíduos fazendo ou dizendo coisas que nunca fizeram, tornaram-se uma preocupação crescente. A tecnologia levanta questões éticas e legais significativas, particularmente quando usada para criar pornografia não consensual ou para espalhar desinformação. A relativa facilidade com que essas imagens podem ser criadas e disseminadas online amplifica o potencial de dano.

A investigação e a subsequente ordem de cessar e desistir destacam os desafios de regulamentar as tecnologias de IA em rápida evolução. Embora a IA ofereça inúmeros benefícios, também apresenta riscos que exigem consideração cuidadosa e medidas proativas para mitigar. O caso ressalta a necessidade de os desenvolvedores de IA priorizarem a segurança e as considerações éticas em seus processos de design e implantação.

A xAI ainda não respondeu publicamente à ordem de cessar e desistir. A empresa agora enfrenta a tarefa de demonstrar ao gabinete do procurador-geral da Califórnia que está tomando medidas concretas para impedir o uso indevido de sua tecnologia e para proteger os indivíduos da criação e distribuição de imagens deepfake não consensuais. O resultado deste caso pode estabelecer um precedente sobre como as empresas de IA são responsabilizadas pelo potencial uso indevido de suas tecnologias.