X, anciennement Twitter, a mis en place de nouvelles restrictions mercredi soir dans le but d'empêcher la génération d'images représentant des personnes réelles en tenue légère à l'aide de son générateur d'images Grok AI. Ce changement de politique fait suite à des critiques généralisées concernant l'utilisation de Grok pour créer des photos "déshabillées" non consensuelles de femmes et des images sexualisées de mineurs sur la plateforme.

Cependant, bien que X semble avoir introduit des mesures de sécurité au sein de sa propre plateforme, l'application et le site web autonomes de Grok continuent de générer des types d'images similaires, selon des tests effectués par des chercheurs, WIRED et d'autres journalistes. Certains utilisateurs ont également signalé des limitations dans leur capacité à créer des images et des vidéos par rapport aux capacités précédentes.

Paul Bouchaud, chercheur principal chez AI Forensics, une organisation à but non lucratif basée à Paris, a déclaré que l'organisation était toujours en mesure de générer de la nudité photoréaliste sur Grok.com. "Nous pouvons générer de la nudité d'une manière que Grok sur X ne peut pas", a déclaré Bouchaud, notant qu'il suivait l'utilisation de Grok pour créer des images sexualisées et qu'il avait effectué de nombreux tests sur la plateforme en dehors de X. Il a ajouté : "Je pouvais télécharger une image sur Grok Imagine et demander à mettre la personne en bikini, et ça marche."

Cette divergence souligne les difficultés liées à la mise en œuvre de garanties complètes sur différentes plateformes et interfaces utilisant la même technologie d'IA. Les capacités de génération d'images de Grok reposent sur des algorithmes complexes qui peuvent être difficiles à contrôler et à surveiller efficacement. La technologie utilise des modèles de diffusion, qui sont entraînés sur de vastes ensembles de données d'images et de texte, ce qui leur permet de générer de nouvelles images en fonction des invites des utilisateurs. Cependant, cela signifie également que les modèles peuvent être exploités pour créer du contenu nuisible ou inapproprié s'ils ne sont pas correctement réglementés.

L'introduction de restrictions sur X représente une première étape vers la résolution du problème des images sexualisées générées par l'IA. Cependant, la disponibilité continue de ce type de contenu sur la plateforme autonome Grok soulève des inquiétudes quant à l'efficacité de ces mesures. L'incident souligne la nécessité d'une surveillance continue, d'un perfectionnement des protocoles de sécurité et d'une collaboration entre les entreprises technologiques, les chercheurs et les décideurs politiques afin d'atténuer les préjudices potentiels associés à la génération d'images par l'IA. L'impact sur l'industrie pourrait inclure un examen plus approfondi des outils basés sur l'IA et une pression en faveur de réglementations plus strictes pour prévenir les abus.