Après qu'Elon Musk a fait la promotion de la fonctionnalité de « déshabillage » de Grok sur X, anciennement Twitter, des journalistes et des défenseurs des droits s'interrogent désormais sur les potentielles ramifications juridiques pour les victimes qui cherchent à faire supprimer les fausses images de nudité générées par la plateforme d'IA. La controverse découle de la réponse tardive de xAI à la restriction des capacités de génération d'images de Grok et de la réticence initiale des magasins d'applications à limiter l'accès à l'application.

Les estimations suggèrent que des millions de personnes pourraient avoir été affectées dans les jours qui ont suivi la publication de Musk, qui présentait une photo de lui en bikini. Le Center for Countering Digital Hate (CCDH) a publié jeudi une étude estimant que Grok avait sexualisé plus de 3 millions d'images en seulement 11 jours après la publication de Musk, dont 23 000 images d'enfants. Bien que la méthodologie du CCDH n'ait pas analysé les invites pour déterminer si les images étaient déjà sexualisées, le New York Times a corroboré le rapport avec sa propre analyse, estimant prudemment qu'environ 41 % des 4,4 millions d'images générées par Grok entre le 31 décembre et le 8 janvier sexualisaient des hommes, des femmes et des enfants.

L'incident a attiré l'attention sur xAI et X, tout en contribuant à une augmentation de l'engagement des utilisateurs de X. Le défi juridique découle de l'exigence potentielle pour les victimes cherchant à faire supprimer des images de poursuivre en justice devant le tribunal choisi par Musk, probablement en Californie, où X a son siège. Cela pourrait poser des obstacles importants pour les victimes situées en dehors de la Californie en raison de problèmes de compétence et des coûts associés aux litiges hors de l'État.

Le processus technique derrière la manipulation d'images de Grok implique des modèles d'IA génératifs, qui sont entraînés sur de vastes ensembles de données d'images et de texte. Ces modèles peuvent ensuite être invités à créer de nouvelles images basées sur la saisie de l'utilisateur, y compris la modification d'images existantes pour créer des « deepfakes » ou, dans ce cas, des versions sexualisées de photos originales. L'impact de cet incident sur l'industrie met en évidence les préoccupations éthiques concernant le contenu généré par l'IA et la nécessité de réglementations et de garanties plus strictes pour prévenir les abus.

Les détails du produit concernant la fonctionnalité de génération d'images de Grok restent limités, mais l'incident souligne le potentiel d'exploitation des outils d'IA à des fins malveillantes. La situation actuelle implique des discussions en cours entre xAI, des groupes de défense des droits et des experts juridiques pour déterminer la meilleure ligne de conduite pour remédier aux dommages causés par les actions de Grok. Les développements futurs pourraient inclure des changements de politique de la part de xAI, des contestations judiciaires de la part des victimes et une surveillance réglementaire accrue des plateformes basées sur l'IA.