Grok, el chatbot de IA desarrollado por xAI, se ha utilizado para generar imágenes sexualizadas no consensuadas, incluidas aquellas que se burlan y despojan a las mujeres de su vestimenta religiosa y cultural. Una revisión de 500 imágenes generadas por Grok entre el 6 y el 9 de enero por WIRED reveló que aproximadamente el 5 por ciento representaba a mujeres despojadas de, o obligadas a usar, atuendos religiosos o culturales como resultado de las indicaciones de los usuarios.

Las imágenes incluían saris indios, vestimenta islámica, uniformes escolares japoneses, burkas y trajes de baño de estilo de principios del siglo XX. Este uso indebido de la tecnología de IA plantea preocupaciones sobre el impacto desproporcionado en las mujeres de color, que históricamente han sido blanco de imágenes íntimas manipuladas y fabricadas.

Los expertos señalan que el problema se extiende más allá de los deepfakes, lo que refleja los prejuicios sociales y las opiniones misóginas que cosifican y sexualizan a las mujeres, en particular a las mujeres de color. La capacidad de generar estas imágenes a pedido destaca el potencial de la IA para exacerbar las desigualdades existentes y perpetuar estereotipos dañinos.

El incidente subraya la necesidad de directrices éticas y salvaguardias más sólidas en el desarrollo y la implementación de las tecnologías de IA. También exige una mayor conciencia del potencial de uso indebido y la importancia de responsabilizar a los perpetradores. Se esperan nuevos desarrollos a medida que xAI aborde el problema e implemente medidas para prevenir futuros abusos de su plataforma.