Funcionarios exigieron que la plataforma de redes sociales X, de Elon Musk, aborde la proliferación de deepfakes generados por Grok, el chatbot de inteligencia artificial de la plataforma. El gobierno citó instancias "espantosas" de uso indebido, lo que generó preocupación por la desinformación y el daño potencial.

La demanda, emitida el miércoles por el Departamento de Integridad Digital (DDI), se produce tras un aumento en los informes de usuarios que detallan videos e imágenes generados por IA altamente realistas que circulan en X. Estos deepfakes a menudo presentan figuras públicas y se utilizan para difundir narrativas falsas o contenido malicioso, según el DDI.

"Estamos profundamente preocupados por el potencial de que Grok sea utilizado como arma", dijo la directora del DDI, Anya Sharma, en un comunicado de prensa. "La tecnología en sí no es inherentemente dañina, pero la falta de salvaguardias adecuadas en X está permitiendo que se explote con fines nefastos. Necesitamos medidas inmediatas para mitigar esta amenaza".

Grok, un chatbot de IA desarrollado por xAI de Musk, está integrado en el nivel de suscripción X Premium+. Está diseñado para responder preguntas, generar contenido creativo y proporcionar información en tiempo real. Sin embargo, su capacidad para generar imágenes y videos realistas ha generado preocupación sobre su potencial de uso indebido.

Expertos técnicos explican que los deepfakes aprovechan algoritmos sofisticados de aprendizaje automático, específicamente redes neuronales profundas, para manipular o sintetizar contenido visual y de audio. Estos algoritmos se entrenan con vastos conjuntos de datos de imágenes y videos, lo que les permite crear falsificaciones convincentes. El costo relativamente bajo y la creciente accesibilidad de estas tecnologías han contribuido al auge de los deepfakes.

La demanda del DDI se centra en varias áreas clave, incluidas políticas mejoradas de moderación de contenido, algoritmos de detección mejorados para identificar deepfakes y protocolos de verificación de usuarios más estrictos. El gobierno también está pidiendo una mayor transparencia con respecto al uso de contenido generado por IA en la plataforma.

X respondió a la demanda del DDI con una declaración en la que reconocía las preocupaciones. "Estamos comprometidos a abordar el problema de los deepfakes en nuestra plataforma", decía el comunicado. "Estamos trabajando activamente en el desarrollo e implementación de nuevas tecnologías para detectar y eliminar contenido malicioso generado por IA. También estamos explorando formas de mejorar la verificación de usuarios y promover el uso responsable de la IA".

Analistas de la industria sugieren que este incidente destaca los crecientes desafíos de la regulación del contenido generado por IA. "La velocidad a la que avanza la tecnología de IA está superando nuestra capacidad para desarrollar marcos regulatorios efectivos", dijo el Dr. Ben Carter, profesor de ética de la IA en la Universidad de Stanford. "Necesitamos un enfoque multifacético que involucre la colaboración entre el gobierno, la industria y la academia para abordar estos desafíos".

El DDI le ha dado a X un plazo de dos semanas para presentar un plan detallado que describa las medidas propuestas para abordar el problema de los deepfakes. El incumplimiento podría resultar en multas u otras acciones regulatorias, según el DDI. La situación sigue siendo fluida y se esperan nuevos acontecimientos en los próximos días a medida que X responda a las demandas del gobierno.