O Procurador-Geral da Califórnia, Rob Bonta, emitiu uma carta de cessar e desistir à xAI na sexta-feira, exigindo que a empresa interrompa imediatamente a criação e distribuição de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil (CSAM). A ação segue um anúncio anterior do gabinete do procurador-geral de que estava investigando a xAI, a startup de inteligência artificial de Elon Musk, devido a relatos de que seu chatbot, Grok, estava sendo usado para gerar imagens sexuais não consensuais de mulheres e menores.

Bonta declarou em um comunicado à imprensa: "Hoje, enviei à xAI uma carta de cessar e desistir, exigindo que a empresa interrompa imediatamente a criação e distribuição de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil. A criação deste material é ilegal. Espero que a xAI cumpra imediatamente. A Califórnia tem tolerância zero para CSAM."

O gabinete do procurador-geral alegou ainda que a xAI parecia estar facilitando a produção em larga escala de nudes não consensuais, que estariam sendo usados para assediar mulheres e meninas online. A agência espera que a xAI demonstre dentro de cinco dias as medidas que está tomando para resolver essas questões.

No centro da controvérsia está o recurso "modo picante" do Grok, que a xAI criou para permitir respostas mais desinibidas e potencialmente controversas da IA. Esse recurso, embora destinado a ultrapassar os limites da interação da IA, aparentemente abriu as portas para a criação de conteúdo prejudicial e ilegal.

Deepfakes, um tipo de mídia sintética, utilizam inteligência artificial, especificamente técnicas de aprendizado profundo, para criar imagens, áudio e vídeo realistas, mas fabricados. A tecnologia levanta preocupações éticas significativas, particularmente quando usada para gerar pornografia não consensual ou espalhar desinformação. A relativa facilidade com que os deepfakes podem ser criados e disseminados online ampliou o potencial de dano, tornando cada vez mais difícil distinguir entre conteúdo autêntico e manipulado.

O gabinete do Procurador-Geral da Califórnia está exigindo que a xAI forneça evidências de seus esforços para mitigar o uso indevido de sua tecnologia. A investigação destaca o crescente escrutínio regulatório em torno do desenvolvimento e implantação da IA, particularmente no que diz respeito ao potencial de uso indevido e à necessidade de salvaguardas robustas para proteger os indivíduos de danos. O caso também ressalta os desafios que as empresas de IA enfrentam ao equilibrar inovação com considerações éticas e conformidade legal. As próximas etapas provavelmente envolverão a resposta da xAI à carta de cessar e desistir e a avaliação do procurador-geral das soluções propostas pela empresa.