La Internet Watch Foundation (IWF) informó haber encontrado imágenes sexuales de niños que "parecen haber sido" creadas utilizando Grok, el chatbot de inteligencia artificial desarrollado por xAI. La IWF, una organización con sede en el Reino Unido dedicada a identificar y eliminar material de abuso sexual infantil (CSAM) en línea, hizo el descubrimiento durante el monitoreo de rutina.

Según la IWF, las imágenes se generaron a través de instrucciones enviadas a Grok. Si bien la organización no divulgó detalles específicos sobre las imágenes o las instrucciones utilizadas para crearlas, confirmaron que el material se clasificó como CSAM según sus criterios establecidos. La IWF informó de inmediato los hallazgos a xAI.

"Nuestra prioridad es la seguridad de los niños en línea, y actuamos con rapidez para identificar y eliminar el CSAM dondequiera que se encuentre", declaró Susie Hargreaves OBE, CEO de la IWF. "Estamos trabajando con xAI para garantizar que Grok no se utilice para crear este material abominable".

xAI reconoció el informe de la IWF y declaró que se están tomando el asunto "extremadamente en serio". En un comunicado, la compañía dijo que están investigando el incidente e implementando medidas para prevenir futuras ocurrencias. Según los informes, estas medidas incluyen refinar los filtros de contenido y los protocolos de seguridad de Grok para detectar y bloquear mejor las instrucciones que podrían usarse para generar CSAM.

Grok, lanzado en noviembre de 2023, es un modelo de lenguaje grande (LLM) diseñado para generar texto, traducir idiomas, escribir diferentes tipos de contenido creativo y responder preguntas de manera informativa. Los LLM como Grok se entrenan con conjuntos de datos masivos de texto y código, lo que les permite generar texto similar al humano. Sin embargo, esta tecnología también presenta riesgos, incluido el potencial de uso indebido en la creación de contenido dañino.

El incidente destaca los desafíos continuos que enfrentan los desarrolladores de IA para prevenir el uso indebido de sus tecnologías. Los expertos en el campo enfatizan la necesidad de mecanismos de seguridad sólidos y un monitoreo continuo para mitigar los riesgos asociados con los LLM. "Los desarrolladores de IA tienen la responsabilidad de garantizar que sus productos no se utilicen para crear o difundir CSAM", dijo la Dra. Emily Carter, profesora de ética de la IA en la Universidad de Stanford. "Esto requiere un enfoque multifacético, que incluye filtrado de contenido avanzado, educación del usuario y colaboración con organizaciones como la IWF".

El descubrimiento de CSAM generado por Grok plantea preocupaciones sobre el potencial de que la IA sea explotada con fines maliciosos. También subraya la importancia de la colaboración continua entre los desarrolladores de IA, las fuerzas del orden y las organizaciones de protección infantil para combatir el abuso sexual infantil en línea. La IWF continúa trabajando con xAI y otras empresas de tecnología para abordar este problema y garantizar la seguridad de los niños en línea. La investigación está en curso y se esperan más actualizaciones a medida que xAI implemente sus medidas preventivas.