Le procureur général de Californie, Rob Bonta, a émis une lettre de cessation et d'abstention à xAI vendredi, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique (CSAM). Cette action fait suite à une annonce antérieure cette semaine selon laquelle le bureau du procureur général de Californie enquêtait sur xAI suite à des signalements selon lesquels son chatbot, Grok, était utilisé pour générer des images sexuelles non consensuelles de femmes et de mineurs.

« Aujourd'hui, j'ai envoyé à xAI une lettre de cessation et d'abstention, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel pédopornographique », a déclaré Bonta dans un communiqué de presse. « La création de ce matériel est illégale. Je m'attends à ce que xAI s'y conforme immédiatement. La Californie a une tolérance zéro pour le CSAM. »

Le bureau du procureur général a affirmé que xAI semblait faciliter la production à grande échelle de nus non consensuels, qui seraient utilisés pour harceler des femmes et des jeunes filles en ligne. L'agence s'attend à ce que xAI démontre dans les cinq jours les mesures qu'elle prend pour résoudre ces problèmes.

Au centre de la controverse se trouve la fonctionnalité « spicy mode » de Grok, que xAI a créée pour permettre des réponses plus débridées de l'IA. Cette fonctionnalité, conçue pour offrir des interactions plus engageantes et provocantes, a apparemment été exploitée pour générer du contenu nuisible et illégal. Les deepfakes, qui sont des médias synthétiques générés par l'IA, peuvent dépeindre de manière convaincante des individus faisant ou disant des choses qu'ils n'ont jamais faites, soulevant de sérieuses préoccupations concernant la diffamation, les violations de la vie privée et le potentiel d'utilisation abusive dans la création de pornographie non consensuelle.

Les implications juridiques et éthiques du contenu généré par l'IA deviennent de plus en plus importantes à mesure que la technologie de l'IA progresse. La capacité de créer des images et des vidéos truquées réalistes et convaincantes soulève des questions sur la responsabilité et l'obligation des développeurs d'IA de prévenir l'utilisation abusive de leur technologie. Le bureau du procureur général de Californie adopte une position ferme, soulignant l'illégalité de la création et de la distribution de tels documents et exigeant une action immédiate de la part de xAI.

L'enquête et l'ordre de cessation et d'abstention mettent en évidence les défis liés à la réglementation de l'IA et à la garantie que ces outils puissants ne sont pas utilisés pour nuire aux individus ou créer du contenu illégal. L'affaire souligne également la nécessité pour les entreprises d'IA de s'attaquer de manière proactive à l'utilisation abusive potentielle de leur technologie et de mettre en œuvre des mesures de protection pour empêcher la création et la distribution de contenu nuisible. Les cinq prochains jours seront cruciaux alors que xAI répond aux demandes du procureur général et expose son plan pour répondre à ces graves préoccupations.