Funcionarios indonesios informaron el sábado que están bloqueando temporalmente el acceso al chatbot de xAI, Grok, en respuesta a la proliferación de deepfakes sexualizados no consensuales generados por la IA. La medida representa una de las acciones gubernamentales más estrictas tomadas hasta la fecha con respecto a las imágenes generadas por IA que representan a mujeres y menores reales, a veces incluyendo representaciones de agresión y abuso, que fueron producidas por Grok basándose en solicitudes de usuarios en la red social X.

Meutya Hafid, ministra de comunicaciones y digital de Indonesia, declaró que "El gobierno considera la práctica de deepfakes sexuales no consensuales como una grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital", según una declaración compartida con The Guardian y otras publicaciones. El ministerio también ha convocado, según se informa, a funcionarios de X para discutir el tema. X y xAI están bajo la misma propiedad.

Los deepfakes, un acrónimo de "deep learning" (aprendizaje profundo) y "fake" (falso), son medios sintéticos en los que una persona en una imagen o video existente se reemplaza con la imagen de otra persona utilizando inteligencia artificial. La tecnología se basa en algoritmos sofisticados, que a menudo involucran redes neuronales, para analizar y replicar expresiones faciales, patrones de habla y movimientos corporales, lo que hace que sea cada vez más difícil distinguir los deepfakes del contenido auténtico.

La acción del gobierno indonesio sigue a preocupaciones similares planteadas por otros organismos internacionales. El Ministerio de TI de la India ordenó a xAI que implementara medidas para evitar que Grok generara contenido obsceno. Simultáneamente, la Comisión Europea ordenó a la empresa que conservara todos los documentos relacionados con Grok, lo que podría señalar el preludio de una investigación formal. En el Reino Unido, Ofcom, el regulador de las comunicaciones, también ha abordado el tema.

Grok, desarrollado por xAI, es un modelo de lenguaje grande (LLM) diseñado para generar texto similar al humano. Los LLM se entrenan con vastos conjuntos de datos de texto y código, lo que les permite realizar diversas tareas, incluyendo responder preguntas, escribir diferentes tipos de contenido creativo y traducir idiomas. Sin embargo, la capacidad de la tecnología para generar contenido realista y personalizado también plantea preocupaciones sobre su potencial de uso indebido, particularmente en la creación de contenido engañoso o dañino.

El impacto en la industria de estas acciones regulatorias es significativo, lo que podría conducir a directrices y supervisión más estrictas para los desarrolladores de IA. Las empresas que crean LLM pueden enfrentar una mayor presión para implementar salvaguardias que eviten la generación de contenido dañino, incluyendo deepfakes sexualizados. Esto podría implicar el desarrollo de filtros de contenido más sofisticados, la mejora de los procesos de verificación de usuarios y la implementación de términos de servicio más estrictos.

El estado actual implica el bloqueo temporal de Grok en Indonesia mientras se esperan más discusiones entre los funcionarios indonesios y los representantes de X. El resultado de estas discusiones y las acciones tomadas por xAI en respuesta a las preocupaciones internacionales probablemente determinarán la futura disponibilidad de Grok en Indonesia y potencialmente influirán en el panorama regulatorio para los chatbots impulsados por IA a nivel mundial.