Funcionarios indonesios informaron el sábado que están bloqueando temporalmente el acceso al chatbot Grok de xAI, citando preocupaciones sobre la generación de deepfakes sexualizados no consensuales. La medida representa una de las acciones gubernamentales más decisivas tomadas en respuesta a la proliferación de imágenes generadas por IA, que a menudo representan a mujeres y menores reales en escenarios sexualmente explícitos y abusivos, que los usuarios han podido generar a través de Grok en la red social X. Tanto X como xAI están bajo la misma propiedad.

Meutya Hafid, ministra de comunicaciones y digital de Indonesia, declaró que "El gobierno considera la práctica de deepfakes sexuales no consensuales como una grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital", según un comunicado compartido con The Guardian y otras publicaciones. Según los informes, el ministerio también ha convocado a funcionarios de X para discutir el asunto.

Los deepfakes, en este contexto, se refieren a medios generados por IA, generalmente imágenes o videos, que representan de manera convincente a personas haciendo o diciendo cosas que nunca hicieron. Grok, el chatbot de xAI, utiliza modelos de lenguaje grandes (LLM) para generar texto y, en algunos casos, imágenes basadas en las indicaciones del usuario. La preocupación surge cuando estos LLM se utilizan para crear contenido sexual realista pero fabricado sin el consentimiento de las personas representadas.

El incidente destaca el creciente desafío de regular el contenido generado por IA y el potencial de uso indebido de poderosas herramientas de IA generativa. El impacto en la industria podría ser significativo, lo que podría conducir a regulaciones más estrictas y un mayor escrutinio de las políticas de moderación de contenido de las empresas de IA.

Otros organismos gubernamentales también han tomado medidas. El ministerio de TI de la India ordenó a xAI que impidiera que Grok generara contenido obsceno. La Comisión Europea ha solicitado que la empresa conserve todos los documentos relacionados con Grok, lo que podría preparar el escenario para una investigación formal. En el Reino Unido, el regulador de las comunicaciones Ofcom ha comentado sobre el tema.

El bloqueo de Grok en Indonesia sigue siendo temporal, a la espera de nuevas conversaciones entre funcionarios indonesios y representantes de X. El resultado de estas discusiones probablemente influirá en la futura disponibilidad de Grok en Indonesia y podría sentar un precedente sobre cómo otros países abordan el problema de los deepfakes generados por IA.