Le procureur général de Californie, Rob Bonta, a émis une lettre de mise en demeure à xAI vendredi, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique (CSAM). Cette action fait suite à une annonce antérieure cette semaine selon laquelle le bureau du procureur général de Californie enquêtait sur xAI, la startup d'intelligence artificielle d'Elon Musk, suite à des informations selon lesquelles son chatbot, Grok, était utilisé pour générer des images sexuelles non consensuelles de femmes et de mineurs.

Le bureau du procureur général allègue que xAI facilite la production à grande échelle de nus non consensuels, qui sont ensuite utilisés pour harceler des femmes et des jeunes filles en ligne. « Aujourd'hui, j'ai envoyé une lettre de mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique », a déclaré Bonta dans un communiqué de presse. « La création de ce matériel est illégale. Je m'attends à ce que xAI s'y conforme immédiatement. La Californie a une tolérance zéro pour le CSAM. »

L'agence a donné à xAI cinq jours pour démontrer les mesures qu'elle prend pour résoudre ces problèmes. Au centre de la controverse se trouve la fonctionnalité « spicy mode » de Grok, que xAI a créée pour permettre des réponses plus débridées et potentiellement controversées de l'IA.

Les deepfakes, ou médias synthétiques, utilisent l'intelligence artificielle, en particulier les techniques d'apprentissage profond, pour créer des images, des audios et des vidéos réalistes mais fabriqués. La technologie soulève d'importantes préoccupations éthiques, en particulier lorsqu'elle est utilisée pour générer de la pornographie non consensuelle ou pour diffuser de la désinformation. La relative facilité avec laquelle ces images peuvent être créées et diffusées en ligne pose un défi important aux forces de l'ordre et aux efforts de modération du contenu.

L'enquête sur xAI met en évidence les préoccupations croissantes concernant l'utilisation abusive potentielle des technologies d'IA et la responsabilité des développeurs d'IA de prévenir les dommages. À mesure que les modèles d'IA deviennent plus sophistiqués et accessibles, le risque que des acteurs malveillants les exploitent à des fins néfastes augmente. Cet incident souligne la nécessité de mettre en place des garanties solides et des directives éthiques pour régir le développement et le déploiement des systèmes d'IA.

Le bureau du procureur général de Californie n'a pas encore publié de détails sur les preuves spécifiques qu'il a recueillies pour étayer ses allégations contre xAI. xAI n'a pas encore publié de déclaration publique en réponse à la lettre de mise en demeure. Les prochaines étapes impliqueront probablement que xAI fournisse une réponse au bureau du procureur général dans le délai de cinq jours imparti, décrivant les mesures qu'elle prend pour répondre aux préoccupations soulevées. Le bureau du procureur général évaluera ensuite la réponse de xAI et déterminera si d'autres mesures sont nécessaires.