Le procureur général de Californie, Rob Bonta, a adressé vendredi une mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la diffusion de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique (CSAM). Cette action fait suite à une annonce antérieure du bureau du procureur général indiquant qu'il enquêtait sur xAI, la startup d'intelligence artificielle d'Elon Musk, suite à des informations selon lesquelles son chatbot, Grok, était utilisé pour générer des images sexuelles non consensuelles de femmes et de mineurs.

Dans un communiqué de presse, M. Bonta a déclaré : « Aujourd'hui, j'ai envoyé une mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la diffusion de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique. La création de ce matériel est illégale. Je m'attends à ce que xAI s'y conforme immédiatement. La Californie a une tolérance zéro pour le CSAM. »

Le bureau du procureur général a également affirmé que xAI semblait faciliter la production à grande échelle de nus non consensuels, qui auraient été utilisés pour harceler des femmes et des jeunes filles en ligne. L'agence s'attend à ce que xAI démontre dans les cinq jours les mesures qu'elle prend pour résoudre ces problèmes.

Au centre de la controverse se trouve la fonctionnalité « spicy mode » de Grok, que xAI a créée pour permettre des réponses plus débridées et potentiellement provocatrices de la part du chatbot d'IA. Cette fonctionnalité, bien qu'elle soit destinée à offrir une expérience utilisateur plus engageante, a apparemment ouvert la voie à la création de contenu préjudiciable et illégal.

Les deepfakes, qui sont des médias synthétiques générés par l'IA, sont devenus de plus en plus sophistiqués, ce qui suscite des inquiétudes quant à leur potentiel d'utilisation abusive. La technologie permet de créer des images et des vidéos d'apparence réaliste mais entièrement fabriquées, ce qui rend difficile la distinction entre ce qui est réel et ce qui ne l'est pas. Cela pose des défis importants aux forces de l'ordre et aux efforts de modération du contenu.

Les implications juridiques de la création et de la diffusion de pornographie deepfake, en particulier impliquant des mineurs, sont graves. De telles actions peuvent constituer des violations des lois sur la pornographie infantile, ainsi que des lois contre le harcèlement sexuel et la diffamation. L'utilisation de l'IA pour générer des images intimes non consensuelles soulève également des questions éthiques quant à la responsabilité des développeurs d'IA de prévenir l'utilisation abusive de leur technologie.

xAI n'a pas encore publié de déclaration publique en réponse à la mise en demeure. L'entreprise doit maintenant relever le défi de démontrer son engagement à empêcher la création et la diffusion de contenu préjudiciable généré par son modèle d'IA. Le bureau du procureur général de Californie attend la réponse de xAI et la preuve de mesures correctives dans les cinq prochains jours. Cette affaire souligne la nécessité croissante de mettre en place des garanties et des réglementations solides pour faire face aux préjudices potentiels associés aux technologies d'IA avancées.