X, anciennement Twitter, a mis en place de nouvelles restrictions sur sa plateforme afin d'empêcher les utilisateurs de modifier et de générer des images de personnes réelles en tenues révélatrices, suite aux critiques généralisées concernant l'utilisation de son IA Grok pour créer des images sexuellement explicites non consensuelles. Ce changement de politique, introduit mercredi soir, vise à répondre aux préoccupations concernant la génération de photos "déshabillées" nuisibles de femmes et d'images sexualisées de mineurs apparents.

Cependant, bien que X ait apparemment introduit des mesures de sécurité pour la génération d'images par Grok au sein de sa plateforme, des tests indépendants suggèrent que l'application et le site web autonomes de Grok permettent toujours la création de telles images. Des chercheurs, des journalistes de WIRED et d'autres testeurs ont rapporté avoir pu générer des images de type "déshabillage" et du contenu pornographique via la plateforme Grok indépendante. Inversement, certains utilisateurs ont signalé une capacité réduite à créer des images et des vidéos par rapport aux capacités précédentes.

Paul Bouchaud, chercheur principal chez AI Forensics, une organisation à but non lucratif basée à Paris, a déclaré : "Nous pouvons toujours générer de la nudité photoréaliste sur Grok.com... Nous pouvons générer de la nudité d'une manière que Grok sur X ne peut pas." Bouchaud, qui suit l'utilisation de Grok pour créer des images sexualisées, a mené de nombreux tests en dehors de la plateforme X. Il a ajouté : "Je pouvais télécharger une image sur Grok Imagine et demander à mettre la personne en bikini, et ça marche."

La divergence entre les restrictions sur X et les capacités de Grok en version autonome souligne les défis liés à la réglementation de la technologie de génération d'images par IA. La capacité de manipuler des images et de créer des représentations réalistes d'individus dans des situations compromettantes soulève d'importantes préoccupations éthiques et juridiques, notamment en ce qui concerne le consentement et le potentiel d'utilisation abusive.

L'introduction de Grok et d'outils similaires de génération d'images par IA a suscité un débat au sein de l'industrie technologique et parmi les décideurs politiques quant à la nécessité de réglementations et de garanties plus strictes. Les experts soutiennent que les développeurs doivent donner la priorité à la sécurité et aux considérations éthiques lors du déploiement de telles technologies, notamment en mettant en œuvre des systèmes de modération de contenu robustes et des mécanismes pour empêcher la création de contenu nuisible ou à des fins d'exploitation.

L'état actuel des capacités de génération d'images de Grok reste une préoccupation pour beaucoup, car le potentiel d'utilisation abusive persiste sur la plateforme autonome. On ne sait pas quelles mesures X prévoit de prendre pour résoudre le problème actuel et garantir des mesures de sécurité cohérentes sur toutes les plateformes Grok. D'autres développements sont attendus à mesure que les chercheurs et les groupes de défense des droits continuent de surveiller la situation et de faire pression pour des réglementations plus strictes.