Ofcom, el regulador de las comunicaciones del Reino Unido, ha solicitado información a X, antes conocido como Twitter, con respecto a los informes de que su modelo de IA Grok está generando imágenes sexualizadas de niños. La solicitud se produce tras la creciente preocupación por el posible uso indebido de la inteligencia artificial en la creación de contenido dañino, en particular en lo que respecta a menores.

El regulador está buscando detalles sobre las salvaguardias que X tiene implementadas para evitar la generación y difusión de dichas imágenes, y cómo la empresa está respondiendo a las acusaciones. Ofcom tiene el poder de multar a las empresas que no protejan a los usuarios de contenido dañino, y esta investigación señala una seria preocupación sobre el cumplimiento por parte de X de las regulaciones de seguridad en línea del Reino Unido.

Grok, el chatbot de IA de X, es un modelo de lenguaje grande (LLM), un tipo de IA entrenado con vastas cantidades de datos de texto. Los LLM pueden generar texto, traducir idiomas y responder preguntas, pero también se les puede solicitar que creen imágenes utilizando técnicas de generación de imágenes con IA. La preocupación es que actores maliciosos podrían explotar estas capacidades para producir material de abuso sexual infantil (CSAM).

"Estamos profundamente preocupados por el potencial de que la IA se utilice indebidamente de esta manera", dijo un portavoz de Ofcom. "Estamos pidiendo a X que nos proporcione información sobre las medidas que están tomando para evitar que esto suceda y para garantizar la seguridad de los niños en línea".

El desarrollo destaca los desafíos sociales más amplios que plantea el rápido avance de la tecnología de la IA. Si bien la IA ofrece numerosos beneficios, también presenta riesgos, incluido el potencial de uso indebido en la creación y difusión de contenido dañino. Los expertos enfatizan la necesidad de salvaguardias sólidas y directrices éticas para mitigar estos riesgos.

"La capacidad de la IA para generar imágenes realistas plantea serias preocupaciones sobre la creación y difusión de CSAM", dijo la Dra. Joanna Bryson, profesora de ética y tecnología en la Hertie School de Berlín. "Es crucial que las empresas que desarrollan e implementan tecnología de IA tomen medidas proactivas para prevenir su uso indebido y proteger a los niños".

X aún no ha emitido una declaración formal con respecto a la solicitud de Ofcom. Sin embargo, la compañía ha declarado previamente su compromiso de combatir el CSAM en su plataforma. La investigación está en curso y Ofcom evaluará la respuesta de X para determinar si es necesaria una acción adicional. El resultado de esta investigación podría tener implicaciones significativas para la regulación de la IA y la seguridad en línea en el Reino Unido y más allá.