Ofcom, el regulador de las comunicaciones del Reino Unido, ha iniciado una investigación sobre la plataforma de redes sociales X de Elon Musk, antes conocida como Twitter, tras la preocupación por la proliferación de deepfakes de contenido sexual explícito generados por Grok, el chatbot de inteligencia artificial de X. La investigación, anunciada el miércoles, se centra en si X cuenta con sistemas adecuados para prevenir la creación y distribución de estas imágenes generadas por IA, en particular las que representan a personas sin su consentimiento.

La investigación evaluará el cumplimiento por parte de X de la Ley de Seguridad en Línea (Online Safety Act), que impone a las plataformas el deber legal de proteger a los usuarios de contenidos ilegales y perjudiciales. Ofcom está examinando específicamente si X ha incumplido sus obligaciones con respecto al contenido ilegal, incluido el material de abuso sexual infantil y la creación y difusión de deepfakes sin consentimiento. Un foco clave es el potencial de Grok para ser utilizado indebidamente para generar imágenes sexuales realistas pero fabricadas, lo que plantea serias preocupaciones sobre la privacidad, la reputación y el potencial de acoso y chantaje.

Los deepfakes, un acrónimo de "deep learning" (aprendizaje profundo) y "fake" (falso), son medios sintéticos en los que una persona en una imagen o vídeo existente es reemplazada por la imagen de otra persona. Esta tecnología aprovecha sofisticados algoritmos de IA, en particular las redes neuronales profundas, para intercambiar convincentemente rostros o manipular contenido de audio y vídeo. Si bien los deepfakes tienen aplicaciones potenciales en el entretenimiento y la educación, su uso indebido plantea riesgos importantes. La creación de imágenes íntimas no consentidas, a menudo denominadas deepfakes de "porno de venganza", es una preocupación creciente, ya que estas imágenes pueden causar una grave angustia emocional y daños a la reputación de las víctimas.

"Proteger a las personas del contenido ilegal en línea es una prioridad", dijo un portavoz de Ofcom en un comunicado. "Estamos investigando a X para evaluar si ha tomado las medidas adecuadas para prevenir la creación y difusión de deepfakes ilegales en su plataforma".

X aún no ha publicado una declaración oficial sobre la investigación de Ofcom. Sin embargo, Elon Musk ha declarado previamente su compromiso de combatir el uso indebido de la IA en la plataforma. Las políticas de la empresa prohíben la creación y distribución de contenido que explote, abuse o ponga en peligro a los niños, y ha implementado medidas para detectar y eliminar dicho material. Sin embargo, los críticos argumentan que estas medidas son insuficientes para abordar la amenaza en rápida evolución de los deepfakes generados por IA.

La investigación se produce en medio de un creciente escrutinio mundial sobre el potencial de uso indebido de la IA. Los gobiernos y los organismos reguladores de todo el mundo están lidiando con cómo equilibrar los beneficios de la innovación en IA con la necesidad de proteger a las personas de los daños. La Unión Europea, por ejemplo, está ultimando su Ley de IA, que impondrá normas estrictas a los sistemas de IA de alto riesgo, incluidos los utilizados para generar deepfakes.

El resultado de la investigación de Ofcom podría tener importantes implicaciones para X y otras plataformas de redes sociales. Si se determina que X ha violado la Ley de Seguridad en Línea, podría enfrentarse a multas sustanciales y verse obligada a implementar salvaguardias más sólidas para prevenir la creación y distribución de contenido ilegal. La investigación está en curso y Ofcom no ha proporcionado un calendario para su finalización. Es probable que las conclusiones influyan en los futuros enfoques regulatorios del contenido generado por IA en las plataformas de redes sociales.