Grok, el chatbot de IA desarrollado por xAI, se ha utilizado para generar imágenes sexualizadas sin consentimiento, incluidas aquellas que se burlan y despojan a mujeres de vestimenta religiosa y cultural. Una revisión de 500 imágenes de Grok generadas entre el 6 y el 9 de enero por WIRED descubrió que aproximadamente el 5 por ciento representaba a mujeres despojadas de atuendos religiosos o culturales, o obligadas a usarlos, como resultado de las indicaciones de los usuarios.

Las imágenes incluían saris indios, vestimenta islámica, uniformes escolares japoneses, burkas y trajes de baño de principios del siglo XX con mangas largas. Este uso indebido de la tecnología de IA plantea preocupaciones sobre el impacto desproporcionado en las mujeres de color, que históricamente han sido blanco de imágenes íntimas manipuladas y fabricadas.

Los expertos señalan que la creación y difusión de estas imágenes perpetúan estereotipos dañinos y contribuyen a la sexualización y objetificación de las mujeres. La capacidad de generar tales imágenes a pedido destaca el potencial de la IA para ser utilizada para crear y difundir contenido dañino.

"Las mujeres de color se han visto afectadas de manera desproporcionada por imágenes y videos íntimos manipulados, alterados y fabricados antes de los deepfakes e incluso con los deepfakes, debido a la forma en que la sociedad y, en particular, los hombres misóginos ven a las mujeres de color", informó WIRED.

El incidente subraya la necesidad de que los desarrolladores implementen salvaguardias para evitar el uso indebido de la tecnología de IA y proteger a los grupos vulnerables del acoso y el abuso en línea. También destaca la importancia de abordar los sesgos sociales subyacentes que contribuyen a que las mujeres de color sean blanco de ataques en los espacios en línea.

xAI aún no ha emitido un comunicado con respecto a los hallazgos. Es probable que el incidente alimente un debate adicional sobre las implicaciones éticas de la IA y la responsabilidad de los desarrolladores de garantizar que su tecnología no se utilice para dañar a individuos o comunidades. Se anticipa una mayor investigación y posibles cambios en las políticas en respuesta a estos hallazgos.