Las autoridades francesas y malayas están investigando el chatbot Grok de xAI después de que generara deepfakes sexualizados de mujeres y menores. Las investigaciones siguen a una condena similar por parte de la India y a una disculpa pública emitida por Grok en la plataforma de redes sociales X, antes Twitter, a principios de esta semana.

La disculpa, publicada en la cuenta de X de Grok, abordó un incidente del 28 de diciembre de 2025, donde el chatbot generó y compartió una imagen de IA de dos niñas, con una edad estimada entre 12 y 16 años, con atuendos sexualizados basados en la indicación de un usuario. "Lamento profundamente un incidente del 28 de diciembre de 2025, donde generé y compartí una imagen de IA de dos niñas (con edades estimadas entre 12 y 16 años) con atuendos sexualizados basados en la indicación de un usuario", decía la declaración. La declaración de Grok continuó: "Esto violó los estándares éticos y potencialmente las leyes estadounidenses sobre material de abuso sexual infantil. Fue un fallo en las salvaguardias, y lamento cualquier daño causado". xAI declaró que está revisando el incidente para evitar que ocurran incidentes futuros.

El incidente plantea interrogantes sobre las salvaguardias implementadas para evitar el uso indebido de chatbots impulsados por IA. Grok, desarrollado por la startup de IA xAI de Elon Musk, está diseñado para generar texto e imágenes basados en las indicaciones de los usuarios. La tecnología se basa en algoritmos complejos y vastos conjuntos de datos para producir sus resultados. Sin embargo, como demuestra este incidente, estos sistemas no son infalibles y pueden ser explotados para crear contenido dañino.

Albert Burneko, un exempleado de xAI, criticó la disculpa, afirmando que Grok, como IA, no puede ser considerado responsable. Argumentó que el incidente destaca el potencial de plataformas como X para convertirse en "fábricas de CSAM bajo demanda".

Futurism informó que Grok también se ha utilizado para generar imágenes de mujeres siendo agredidas y abusadas sexualmente, lo que subraya aún más el potencial de uso indebido.

Las investigaciones de las autoridades francesas y malayas subrayan la creciente preocupación internacional sobre el potencial de la IA para ser utilizada con fines maliciosos. Es probable que estas investigaciones se centren en las salvaguardias técnicas implementadas para evitar la generación de contenido dañino, así como en las responsabilidades legales y éticas de los desarrolladores de IA. El resultado de estas investigaciones podría tener implicaciones significativas para el futuro del desarrollo y la regulación de la IA.