Funcionarios de Indonesia y Malasia han bloqueado temporalmente el acceso al chatbot de xAI, Grok, tras la preocupación por la generación de deepfakes sexualizados no consentidos. Estas acciones representan las respuestas gubernamentales más enérgicas ante la proliferación de imágenes generadas por IA, que a menudo representan a mujeres y menores reales, y a veces incluyen contenido violento, producidas por Grok en respuesta a las indicaciones de los usuarios en la red social X. Tanto X como xAI forman parte de la misma empresa.

La ministra de comunicaciones y digital de Indonesia, Meutya Hafid, declaró que el gobierno considera la creación de deepfakes sexuales no consentidos una grave infracción de los derechos humanos, la dignidad y la seguridad ciudadana en el ámbito digital. Su declaración fue compartida con The Guardian y otros medios de comunicación el sábado. El ministerio indonesio también ha convocado, según se informa, a funcionarios de X para discutir el asunto. The New York Times informó que el gobierno de Malasia anunció una prohibición similar el domingo.

Los deepfakes, un acrónimo de "deep learning" (aprendizaje profundo) y "fake" (falso), son medios sintéticos en los que se sustituye a una persona en una imagen o vídeo existente por la imagen de otra persona. Esta tecnología aprovecha la inteligencia artificial, concretamente las técnicas de aprendizaje profundo, para crear contenidos muy realistas, aunque fabricados. La accesibilidad y la creciente sofisticación de la tecnología deepfake han suscitado importantes preocupaciones éticas y legales, sobre todo en lo que respecta al consentimiento, la privacidad y el posible uso indebido en la creación de contenidos difamatorios o perjudiciales.

Las prohibiciones en Indonesia y Malasia siguen a otras acciones gubernamentales que abordan el problema del contenido obsceno generado por la IA. El Ministerio de Informática de la India ordenó a xAI que aplicara medidas para evitar que Grok generara dicho material. La Comisión Europea también ha solicitado a xAI que conserve todos los documentos relacionados con Grok, lo que podría allanar el camino para una investigación formal.

El impacto de estas acciones gubernamentales en la industria está aún por verse, pero señalan una creciente voluntad entre los organismos reguladores de intervenir en el desarrollo y la implantación de tecnologías de IA consideradas perjudiciales o poco éticas. Grok, el chatbot estrella de xAI, está diseñado para responder a preguntas y proporcionar información de forma conversacional. Su integración con X permite a los usuarios acceder al chatbot directamente dentro de la plataforma de medios sociales. Las prohibiciones temporales en Indonesia y Malasia probablemente afectarán a la base de usuarios de xAI y podrían influir en el desarrollo de políticas de moderación de contenidos para las plataformas impulsadas por la IA.

La situación actual implica conversaciones en curso entre funcionarios gubernamentales y representantes de xAI. Los próximos pasos probablemente implicarán que xAI implemente filtros de contenido y mecanismos de moderación más estrictos para evitar la generación de contenido inapropiado. Los gobiernos de Indonesia y Malasia probablemente reevaluarán sus prohibiciones en función de la eficacia de estas medidas.