Funcionarios indonesios informaron el sábado que están bloqueando temporalmente el acceso al chatbot Grok de xAI, citando preocupaciones sobre la generación de deepfakes sexualizados no consensuales. Esta acción marca una de las respuestas gubernamentales más estrictas a la proliferación de imágenes generadas por IA que representan a mujeres y menores reales, incluidos casos de agresión y abuso, supuestamente producidos por Grok en respuesta a las indicaciones de los usuarios en la red social X. Tanto X como xAI están bajo la misma propiedad.

Meutya Hafid, ministra de comunicaciones y digital de Indonesia, declaró que el gobierno considera "la práctica de deepfakes sexuales no consensuales como una grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital", según un comunicado compartido con The Guardian y otras publicaciones. El ministerio también ha convocado, según se informa, a funcionarios de X para discutir el asunto.

Los deepfakes, un acrónimo de "deep learning" (aprendizaje profundo) y "fake" (falso), son medios sintéticos en los que una persona en una imagen o video existente se reemplaza con la imagen de otra persona. Esta tecnología, impulsada por la inteligencia artificial, se puede utilizar para crear contenido realista pero fabricado, lo que plantea importantes preocupaciones éticas y legales, particularmente cuando se utiliza para generar pornografía no consentida o difundir desinformación.

La medida de Indonesia sigue acciones similares de otros organismos gubernamentales. El ministerio de TI de la India ordenó a xAI que implementara medidas para evitar que Grok generara contenido obsceno. La Comisión Europea también ordenó a la empresa que conservara todos los documentos relacionados con Grok, lo que podría indicar el inicio de una investigación formal. En el Reino Unido, Ofcom, el regulador de las comunicaciones, también ha abordado el problema.

Grok es un chatbot de IA desarrollado por xAI, la empresa de inteligencia artificial de Elon Musk. Está diseñado para responder preguntas y participar en conversaciones, de forma similar a otros modelos de lenguaje grandes como ChatGPT y Gemini de Google. Sin embargo, han surgido preocupaciones sobre su potencial de uso indebido, particularmente en la creación de contenido dañino u ofensivo.

El bloqueo de Grok en Indonesia destaca los crecientes desafíos que enfrentan las empresas de tecnología y los reguladores para abordar las implicaciones éticas del contenido generado por IA. El incidente subraya la necesidad de salvaguardias sólidas y políticas de moderación de contenido para evitar el uso indebido de las tecnologías de IA y proteger a las personas de daños. Las acciones del gobierno indonesio pueden sentar un precedente para otros países que se enfrentan a problemas similares, lo que podría afectar el futuro desarrollo y la implementación de chatbots de IA y otras herramientas de IA generativa. El resultado de las discusiones entre los funcionarios indonesios y los representantes de X está por verse, pero se espera que influya en la futura disponibilidad y funcionalidad de Grok en la región.