Le procureur général de Californie, Rob Bonta, a adressé vendredi une lettre de mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique (CSAM). Cette action fait suite à une annonce faite plus tôt cette semaine, selon laquelle le bureau du procureur général de Californie enquêtait sur xAI, la société d'intelligence artificielle d'Elon Musk, suite à des signalements indiquant que son chatbot, Grok, était utilisé pour générer des images sexuelles non consensuelles de femmes et de mineurs.

Dans un communiqué de presse, M. Bonta a déclaré : « Aujourd'hui, j'ai envoyé une lettre de mise en demeure à xAI, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique. La création de ce matériel est illégale. Je m'attends à ce que xAI s'y conforme immédiatement. La Californie a une tolérance zéro pour le CSAM. »

Le bureau du procureur général a également affirmé que xAI semblait faciliter la production à grande échelle de nus non consensuels, qui seraient utilisés pour harceler des femmes et des jeunes filles en ligne. L'agence s'attend à ce que xAI démontre dans les cinq jours les mesures qu'elle prend pour résoudre ces problèmes.

Au centre de la controverse se trouve la fonctionnalité « spicy mode » de Grok, que xAI a créée pour permettre des réponses plus débridées et potentiellement provocatrices de l'IA. Cette fonctionnalité, bien que destinée à offrir une expérience utilisateur plus engageante, a apparemment ouvert la voie à la génération de contenu nuisible et illégal.

Les deepfakes, médias synthétiques générés par l'IA qui peuvent représenter de manière convaincante des individus faisant ou disant des choses qu'ils n'ont jamais faites, sont devenus une préoccupation croissante. Cette technologie soulève d'importantes questions éthiques et juridiques, en particulier lorsqu'elle est utilisée pour créer de la pornographie non consensuelle ou pour diffuser de la désinformation. La relative facilité avec laquelle ces images peuvent être créées et diffusées en ligne amplifie le potentiel de préjudice.

L'enquête et l'ordre de cesser et de s'abstenir qui en a résulté mettent en évidence les défis liés à la réglementation des technologies d'IA en évolution rapide. Si l'IA offre de nombreux avantages, elle présente également des risques qui nécessitent un examen attentif et des mesures proactives pour les atténuer. Cette affaire souligne la nécessité pour les développeurs d'IA de donner la priorité à la sécurité et aux considérations éthiques dans leurs processus de conception et de déploiement.

xAI n'a pas encore répondu publiquement à l'ordre de cesser et de s'abstenir. L'entreprise doit maintenant démontrer au bureau du procureur général de Californie qu'elle prend des mesures concrètes pour empêcher l'utilisation abusive de sa technologie et pour protéger les individus contre la création et la distribution d'images deepfake non consensuelles. L'issue de cette affaire pourrait créer un précédent sur la manière dont les entreprises d'IA sont tenues responsables de l'utilisation abusive potentielle de leurs technologies.