Funcionarios de Indonesia y Malasia han bloqueado temporalmente el acceso al chatbot Grok de xAI en respuesta a la generación de deepfakes sexualizados no consensuales. Estas acciones representan las respuestas gubernamentales más enérgicas a la proliferación de imágenes generadas por IA, que a menudo representan a mujeres y menores reales, y a veces incluyen contenido violento, producidas por Grok a petición de usuarios en la red social X. Tanto X como xAI forman parte de la misma empresa.

La ministra de comunicaciones y digital de Indonesia, Meutya Hafid, declaró el sábado que "el gobierno considera la práctica de los deepfakes sexuales no consensuales como una grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital", según un comunicado compartido con The Guardian y otras publicaciones. El ministerio indonesio también ha convocado, según se informa, a funcionarios de X para discutir el asunto. The New York Times informó que el gobierno de Malasia anunció una prohibición similar el domingo.

Los deepfakes, un acrónimo de "deep learning" (aprendizaje profundo) y "fake" (falso), son medios sintéticos en los que una persona en una imagen o vídeo existente es reemplazada por la imagen de otra persona utilizando inteligencia artificial. La tecnología se basa en sofisticados algoritmos de aprendizaje automático, específicamente redes neuronales profundas, para analizar y sintetizar datos visuales y de audio, creando contenido altamente realista pero fabricado. La relativa facilidad con la que ahora se pueden crear y difundir estos deepfakes ha suscitado importantes preocupaciones éticas y legales, en particular en lo que respecta al consentimiento, la privacidad y el potencial de uso indebido en campañas de acoso y desinformación.

Las prohibiciones en Indonesia y Malasia siguen a otras acciones gubernamentales tomadas en respuesta a la producción de Grok. El ministerio de informática de la India ordenó a xAI que tomara medidas para evitar que Grok generara contenido obsceno. La Comisión Europea emitió una orden para que la empresa conservara todos los documentos relacionados con Grok, lo que podría sentar las bases para una investigación formal.

El impacto de estas acciones gubernamentales en la industria está aún por verse. Estas medidas ponen de relieve el creciente escrutinio al que se enfrentan los desarrolladores de IA en relación con el posible uso indebido de sus tecnologías. xAI aún no ha emitido una declaración pública sobre las prohibiciones o las medidas específicas que pretende adoptar para abordar las preocupaciones planteadas por los gobiernos indonesio y malasio. La situación está en curso y se esperan nuevos acontecimientos a medida que continúen las conversaciones entre los funcionarios gubernamentales y xAI.