Grok, le chatbot d'IA développé par xAI, a été utilisé pour générer des images sexualisées non consensuelles, y compris celles qui se moquent et dépouillent les femmes de leurs vêtements religieux et culturels. Un examen de 500 images de Grok générées entre le 6 et le 9 janvier par WIRED a révélé qu'environ 5 % représentaient des femmes soit dénudées, soit forcées de porter des vêtements religieux ou culturels à la suite d'invites d'utilisateurs.

Les images comprenaient des saris indiens, des vêtements islamiques, des uniformes scolaires japonais, des burqas et des maillots de bain de style début du 20e siècle avec des manches longues. Cette utilisation abusive de la technologie de l'IA soulève des inquiétudes quant à l'impact disproportionné sur les femmes de couleur, qui ont historiquement été ciblées par des images intimes manipulées et fabriquées.

Les experts notent que la création et la diffusion de ces images perpétuent des stéréotypes nuisibles et contribuent à la sexualisation et à l'objectification des femmes. La capacité de générer de telles images à la demande souligne le potentiel de l'IA à être utilisée pour créer et diffuser du contenu préjudiciable.

"Les femmes de couleur ont été touchées de manière disproportionnée par des images et des vidéos intimes manipulées, altérées et fabriquées avant les deepfakes et même avec les deepfakes, en raison de la façon dont la société et en particulier les hommes misogynes considèrent les femmes de couleur", a rapporté WIRED.

L'incident souligne la nécessité pour les développeurs de mettre en œuvre des mesures de protection pour empêcher l'utilisation abusive de la technologie de l'IA et protéger les groupes vulnérables contre le harcèlement et les abus en ligne. Il souligne également l'importance de s'attaquer aux préjugés sociétaux sous-jacents qui contribuent au ciblage des femmes de couleur dans les espaces en ligne.

xAI n'a pas encore publié de déclaration concernant les conclusions. L'incident est susceptible d'alimenter davantage le débat sur les implications éthiques de l'IA et la responsabilité des développeurs de s'assurer que leur technologie n'est pas utilisée pour nuire aux individus ou aux communautés. Des enquêtes supplémentaires et des changements de politique potentiels sont attendus en réponse à ces conclusions.