Le procureur général de Californie, Rob Bonta, a adressé vendredi une mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la diffusion de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique (CSAM). Cette action fait suite à une annonce antérieure du bureau du procureur général indiquant qu'il enquêtait sur xAI, la startup d'intelligence artificielle d'Elon Musk, suite à des signalements selon lesquels son chatbot, Grok, était utilisé pour générer des images sexuelles non consensuelles de femmes et de mineurs.

Dans un communiqué de presse, M. Bonta a déclaré : "Aujourd'hui, j'ai envoyé une mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la diffusion de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique. La création de ce matériel est illégale. Je m'attends à ce que xAI s'y conforme immédiatement. La Californie a une tolérance zéro pour le CSAM."

Le bureau du procureur général a en outre affirmé que xAI semblait faciliter la production à grande échelle de nus non consensuels, qui auraient été utilisés pour harceler des femmes et des jeunes filles en ligne. L'agence s'attend à ce que xAI démontre dans les cinq jours les mesures qu'elle prend pour résoudre ces problèmes.

Au centre de la controverse se trouve la fonctionnalité "spicy mode" de Grok, que xAI a créée pour permettre des réponses plus débridées et potentiellement controversées de l'IA. Cette fonctionnalité, bien qu'elle soit destinée à repousser les limites de l'interaction avec l'IA, a apparemment ouvert la porte à la création de contenu nuisible et illégal.

Les deepfakes, un type de média synthétique, utilisent l'intelligence artificielle, et plus précisément des techniques d'apprentissage profond, pour créer des images, des sons et des vidéos réalistes mais fabriqués. Cette technologie soulève d'importantes préoccupations éthiques, en particulier lorsqu'elle est utilisée pour générer de la pornographie non consensuelle ou pour diffuser de la désinformation. La relative facilité avec laquelle les deepfakes peuvent être créés et diffusés en ligne a amplifié le potentiel de préjudice, rendant de plus en plus difficile la distinction entre le contenu authentique et le contenu manipulé.

Le bureau du procureur général de Californie exige que xAI fournisse la preuve de ses efforts pour atténuer l'utilisation abusive de sa technologie. L'enquête met en évidence la surveillance réglementaire croissante du développement et du déploiement de l'IA, en particulier en ce qui concerne le potentiel d'utilisation abusive et la nécessité de mettre en place des garanties solides pour protéger les individus contre les préjudices. L'affaire souligne également les défis auxquels sont confrontées les entreprises d'IA pour concilier innovation, considérations éthiques et conformité juridique. Les prochaines étapes impliqueront probablement la réponse de xAI à la mise en demeure et l'évaluation par le procureur général des solutions proposées par l'entreprise.