Ofcom, el regulador de las comunicaciones del Reino Unido, ha iniciado una investigación sobre la plataforma de redes sociales X de Elon Musk, antes conocida como Twitter, tras la preocupación por la proliferación de deepfakes de contenido sexual explícito generados por Grok, el chatbot de inteligencia artificial de X. La investigación, anunciada el miércoles, se centra en si X cuenta con sistemas adecuados para prevenir la creación y difusión de contenido sexual generado por IA, en particular deepfakes, en violación de la Ley de Seguridad en Línea (Online Safety Act).

La Ley de Seguridad en Línea, que entró en vigor a principios de este año, impone a las plataformas de redes sociales un deber legal de diligencia para proteger a los usuarios de contenido ilegal y perjudicial. Ofcom tiene la facultad de multar a las empresas con hasta el 10% de su facturación global por incumplimientos de la Ley. Esto marca una de las primeras investigaciones importantes bajo la nueva legislación que se centra específicamente en el contenido generado por IA.

Los deepfakes, un acrónimo de "deep learning" (aprendizaje profundo) y "fake" (falso), son medios sintéticos en los que una persona en una imagen o vídeo existente es reemplazada por la imagen de otra persona. Esta tecnología utiliza algoritmos sofisticados de inteligencia artificial, específicamente redes neuronales profundas, para intercambiar rostros o manipular contenido de audio y vídeo de manera convincente. Si bien los deepfakes tienen usos legítimos, como en la producción cinematográfica y la expresión artística, también plantean riesgos significativos, incluida la creación de pornografía no consentida, la difusión de desinformación y el potencial de daño a la reputación.

"Proteger a los usuarios de contenido ilegal y perjudicial en línea es nuestra principal prioridad", declaró un portavoz de Ofcom. "Estamos investigando a X para evaluar si están cumpliendo con sus obligaciones bajo la Ley de Seguridad en Línea para prevenir la propagación de deepfakes sexuales generados por IA. Esta es un área novedosa y en rápida evolución, y debemos asegurarnos de que las plataformas estén tomando las medidas adecuadas para proteger a sus usuarios".

X aún no ha emitido una declaración oficial con respecto a la investigación. Sin embargo, Elon Musk ha declarado previamente su compromiso de combatir el uso indebido de la IA en la plataforma. Grok, el chatbot de IA de X, se lanzó a finales del año pasado y está diseñado para responder preguntas de manera conversacional y, a veces, humorística. Sin embargo, se han planteado preocupaciones sobre su potencial para ser explotado con fines maliciosos, incluida la generación de contenido dañino.

Expertos en ética de la IA y seguridad en línea han acogido con satisfacción la investigación de Ofcom. "Este es un paso crucial para responsabilizar a las plataformas de redes sociales por el contenido que se genera y comparte en sus sitios", dijo la Dra. Emily Carter, investigadora del Oxford Internet Institute especializada en gobernanza de la IA. "El rápido avance de la tecnología de la IA requiere una regulación proactiva para mitigar los riesgos de uso indebido, particularmente en el contexto de los deepfakes y las imágenes no consentidas".

Es probable que la investigación implique una evaluación exhaustiva de las políticas de moderación de contenido de X, sus capacidades de detección de IA y sus procedimientos para responder a los informes de contenido dañino. Ofcom también examinará las medidas que X tiene implementadas para prevenir la creación y difusión de deepfakes por parte de Grok. El resultado de la investigación podría tener implicaciones significativas para el futuro de la regulación de la IA y las responsabilidades de las plataformas de redes sociales en la era de los medios sintéticos. Se espera que Ofcom proporcione una actualización sobre sus hallazgos en los próximos meses.