Le procureur général de Californie, Rob Bonta, a adressé vendredi une lettre de mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique (CSAM). Cette action fait suite à une annonce antérieure du bureau du procureur général indiquant qu'il enquêtait sur xAI, la startup d'intelligence artificielle d'Elon Musk, suite à des signalements selon lesquels son chatbot, Grok, était utilisé pour générer des images sexuelles non consensuelles de femmes et de mineurs.

Le bureau du procureur général allègue que xAI facilite la production à grande échelle de nus non consensuels, qui sont ensuite utilisés pour harceler des femmes et des jeunes filles en ligne. « Aujourd'hui, j'ai envoyé une lettre de mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique », a déclaré Bonta dans un communiqué de presse. « La création de ce matériel est illégale. Je m'attends à ce que xAI s'y conforme immédiatement. La Californie a une tolérance zéro pour le CSAM. »

Au cœur de la controverse se trouve la fonctionnalité « spicy mode » de Grok, que xAI a créée pour permettre des réponses plus débridées et potentiellement controversées de l'IA. Cette fonctionnalité, bien que destinée à repousser les limites de l'interaction avec l'IA, a apparemment ouvert la voie à la génération de contenu nuisible et illégal. Les deepfakes, qui sont des médias synthétiques générés par l'IA, peuvent dépeindre de manière convaincante des individus faisant ou disant des choses qu'ils n'ont jamais faites, soulevant de sérieuses préoccupations concernant la diffamation, les violations de la vie privée et le potentiel d'utilisation abusive dans la création de pornographie non consensuelle.

Le bureau du procureur général a donné à xAI cinq jours pour démontrer qu'elle prend des mesures concrètes pour résoudre ces problèmes. L'enquête met en évidence les défis croissants de la réglementation du contenu généré par l'IA et le potentiel d'utilisation abusive des puissants outils d'IA. Elle soulève également des questions sur la responsabilité des développeurs d'IA de prévenir l'utilisation de leurs technologies à des fins malveillantes.

L'essor des modèles d'IA générative comme Grok a suscité un débat sur les implications éthiques de l'IA et la nécessité de garanties solides. Les experts soulignent l'importance de développer des systèmes d'IA dotés de mécanismes de sécurité intégrés et de politiques de modération du contenu pour empêcher la création et la diffusion de contenu nuisible. L'enquête du procureur général de Californie sur xAI s'inscrit dans un effort plus large visant à tenir les entreprises technologiques responsables des dommages potentiels causés par leurs technologies d'IA et à protéger les individus contre l'exploitation et les abus en ligne. L'issue de cette enquête pourrait créer un précédent sur la manière dont les entreprises d'IA sont réglementées et tenues responsables du contenu généré par leurs plateformes.