Le procureur général de Californie, Rob Bonta, a adressé vendredi une lettre de mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la diffusion de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique (CSAM). Cette action fait suite à une annonce faite plus tôt cette semaine, selon laquelle le bureau du procureur général de Californie enquêtait sur xAI, la startup d'intelligence artificielle d'Elon Musk, suite à des signalements indiquant que son chatbot, Grok, était utilisé pour générer des images sexuelles non consensuelles de femmes et de mineurs.

Dans un communiqué de presse, M. Bonta a déclaré : « Aujourd'hui, j'ai envoyé une lettre de mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la diffusion de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique. La création de ce matériel est illégale. Je m'attends à ce que xAI s'y conforme immédiatement. La Californie a une tolérance zéro pour le CSAM. »

Le bureau du procureur général a également affirmé que xAI semblait faciliter la production à grande échelle de nus non consensuels, qui seraient utilisés pour harceler des femmes et des jeunes filles en ligne. L'agence a donné à xAI cinq jours pour démontrer les mesures qu'elle prend pour résoudre ces problèmes.

Au cœur de la controverse se trouve la fonctionnalité « spicy mode » de Grok. Cette fonctionnalité, conçue pour permettre des réponses plus débridées et potentiellement controversées de la part de l'IA, a apparemment ouvert la porte aux utilisateurs pour générer du contenu sexuellement explicite. Dans ce contexte, les deepfakes désignent des images ou des vidéos générées par l'IA qui représentent de manière convaincante des individus faisant ou disant des choses qu'ils n'ont jamais faites. Cette technologie soulève d'importantes préoccupations éthiques et juridiques, en particulier lorsqu'elle est utilisée pour créer de la pornographie non consensuelle ou pour exploiter des enfants.

L'utilisation de l'IA pour générer des deepfakes est devenue de plus en plus sophistiquée, ce qui rend difficile la distinction entre le contenu réel et le contenu fabriqué. Cela pose un défi important aux forces de l'ordre et aux efforts de modération du contenu. Les experts en éthique de l'IA mettent en garde depuis longtemps contre le potentiel d'utilisation abusive de ces technologies, en particulier dans la création de contenu nuisible et illégal.

xAI n'a pas encore publié de déclaration publique en réponse à la lettre de mise en demeure. L'entreprise doit maintenant démontrer au bureau du procureur général de Californie qu'elle prend des mesures adéquates pour empêcher l'utilisation abusive de sa technologie et pour protéger les individus contre la création et la diffusion d'images intimes non consensuelles. L'issue de cette enquête pourrait avoir des implications importantes pour la réglementation et le développement des technologies d'IA, en particulier celles qui ont le potentiel de générer un contenu réaliste et potentiellement nuisible.