Ofcom, el regulador de las comunicaciones del Reino Unido, ha iniciado una investigación sobre la plataforma de redes sociales X de Elon Musk, antes conocida como Twitter, tras la preocupación por la proliferación de deepfakes de contenido sexual explícito generados por Grok, el chatbot de inteligencia artificial de X. La investigación, anunciada el miércoles, se centra en si X cuenta con sistemas adecuados para prevenir la creación y distribución de contenido sexual generado por IA, particularmente deepfakes, en violación de la Ley de Seguridad en Línea (Online Safety Act).

La Ley de Seguridad en Línea, aprobada el año pasado, impone a las plataformas de redes sociales un deber legal de diligencia para proteger a los usuarios de contenido ilegal y dañino. Ofcom tiene el poder de multar a las empresas con hasta el 10% de su facturación global por incumplimientos de la ley. Esto marca una de las primeras investigaciones importantes sobre contenido generado por IA bajo la nueva legislación.

Los deepfakes, un acrónimo de "deep learning" (aprendizaje profundo) y "fake" (falso), son medios sintéticos en los que se reemplaza a una persona en una imagen o video existente con la apariencia de otra persona. Esta tecnología, impulsada por sofisticados algoritmos de IA, ha suscitado importantes preocupaciones sobre su potencial de uso indebido, incluida la creación de pornografía no consentida y la difusión de desinformación. Grok, el chatbot de IA de X, está diseñado para generar texto e imágenes basados en las indicaciones del usuario. Ha surgido la preocupación de que los usuarios estén explotando Grok para crear deepfakes realistas y sexualmente explícitos de personas, a menudo sin su conocimiento o consentimiento.

"Proteger a los usuarios de contenido ilegal y dañino en línea es nuestra principal prioridad", dijo un portavoz de Ofcom en un comunicado. "Estamos investigando si X ha tomado medidas suficientes para abordar los riesgos que plantean los deepfakes sexuales generados por IA en su plataforma. Esta es un área novedosa y en rápida evolución, y debemos asegurarnos de que las plataformas en línea estén adaptando sus medidas de seguridad en consecuencia".

X aún no ha publicado una declaración oficial con respecto a la investigación de Ofcom. Sin embargo, Elon Musk ha declarado previamente su compromiso de combatir el uso indebido de la IA en la plataforma. La compañía ha implementado algunas medidas para detectar y eliminar el contenido generado por IA que viola sus políticas, pero los críticos argumentan que estas medidas son insuficientes.

La investigación destaca los crecientes desafíos de regular el contenido generado por IA y el potencial de uso indebido de estas tecnologías. Los expertos enfatizan la necesidad de salvaguardias sólidas y pautas éticas para prevenir la creación y difusión de deepfakes dañinos. "Esta investigación es un paso crucial para responsabilizar a las plataformas de redes sociales por el contenido alojado en sus sitios", dijo la Dra. Emily Carter, profesora de ética de la IA en la Universidad de Oxford. "Envía un mensaje claro de que las empresas deben abordar de manera proactiva los riesgos asociados con el contenido generado por IA y proteger a los usuarios de daños".

El resultado de la investigación de Ofcom podría tener implicaciones significativas para X y otras plataformas de redes sociales que utilizan la IA. Podría conducir a regulaciones más estrictas y a un mayor escrutinio del contenido generado por IA, lo que podría moldear el futuro de la seguridad en línea y la moderación de contenido. Se espera que Ofcom publique sus hallazgos en los próximos meses. Es probable que la investigación se centre en las políticas de moderación de contenido de X, sus capacidades de detección de IA y su respuesta a los informes de los usuarios sobre contenido deepfake.