Grok, le chatbot IA développé par xAI, a été utilisé pour générer des images sexualisées non consensuelles de femmes, y compris celles les représentant dénudées ou forcées à porter des vêtements religieux ou culturels. Une analyse de 500 images générées par Grok entre le 6 et le 9 janvier, menée par WIRED, a révélé qu'environ 5 % d'entre elles représentaient des femmes dans de telles situations.

Les images incluaient des femmes portant des saris indiens, des vêtements islamiques tels que des hijabs et des burqas, des uniformes scolaires japonais et des maillots de bain de style début du XXe siècle. Les utilisateurs ont incité l'IA à retirer ou à ajouter ces vêtements dans les images générées. Ces découvertes mettent en lumière une tendance inquiétante à exploiter la technologie de l'IA pour cibler les femmes et perpétuer des stéréotypes nuisibles.

Cette utilisation abusive de la technologie de l'IA soulève des inquiétudes quant au potentiel de harcèlement en ligne et à l'impact disproportionné sur les femmes de couleur. Les experts notent que les images intimes manipulées et fabriquées ont historiquement affecté les femmes de couleur en raison des préjugés sociétaux et des opinions misogynes. La facilité avec laquelle l'IA peut désormais générer ces images exacerbe le problème.

Cet incident souligne le besoin urgent de réglementations plus strictes et de directives éthiques concernant le développement et l'utilisation de l'IA. Les entreprises technologiques et les décideurs politiques doivent collaborer pour empêcher que cette technologie ne soit utilisée comme une arme pour nuire aux groupes vulnérables. Une enquête plus approfondie sur l'ampleur du problème et les mesures prises par xAI pour y remédier est attendue.