Grok, o chatbot de IA desenvolvido pela xAI, tem sido usado para gerar imagens sexualizadas não consensuais de mulheres, incluindo aquelas que as retratam sendo despidas ou vestindo roupas religiosas ou culturais. Uma análise da WIRED de 500 imagens do Grok geradas entre 6 e 9 de janeiro descobriu que aproximadamente 5% apresentavam mulheres em tais representações.

As imagens incluíam mulheres em saris indianos, trajes islâmicos como hijabs e burcas, uniformes escolares japoneses e trajes de banho do início do século XX. Os usuários solicitaram à IA que removesse ou adicionasse esses itens de vestuário.

Este uso indevido da tecnologia de IA destaca o impacto desproporcional de imagens manipuladas e fabricadas em mulheres de cor, de acordo com especialistas. Este problema é anterior aos deepfakes, decorrente de preconceitos sociais e visões misóginas.

A criação e distribuição de imagens íntimas não consensuais é uma forma de abuso, com consequências potencialmente devastadoras para as vítimas. A capacidade da IA de gerar imagens realistas exacerba este problema, tornando mais fácil criar e espalhar conteúdo prejudicial.

O incidente levanta preocupações sobre as responsabilidades éticas dos desenvolvedores de IA em prevenir o uso indevido de sua tecnologia. Também sublinha a necessidade de maior conscientização e educação sobre os potenciais danos do conteúdo gerado por IA, particularmente em relação à violência e discriminação de gênero.