Funcionarios de Indonesia y Malasia han bloqueado temporalmente el acceso al chatbot de xAI, Grok, en respuesta a la proliferación de deepfakes sexualizados no consentidos generados por la IA. Estas acciones representan las respuestas gubernamentales más enérgicas al aumento de imágenes generadas por IA, que a menudo representan a mujeres y menores reales, y a veces incluyen violencia, que los usuarios han publicado a través de Grok en la red social X. Tanto X como xAI forman parte de la misma empresa.

La ministra de comunicaciones y digital de Indonesia, Meutya Hafid, declaró que el gobierno considera la creación y distribución de deepfakes sexuales no consentidos una grave infracción de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el ámbito digital. La declaración de Hafid fue compartida con The Guardian y otros medios de comunicación el sábado. El ministerio indonesio también ha convocado, según se informa, a funcionarios de X para discutir el asunto. The New York Times informó que el gobierno de Malasia anunció una prohibición similar el domingo.

Los deepfakes, técnicamente conocidos como medios sintéticos, utilizan inteligencia artificial, específicamente técnicas de aprendizaje profundo, para crear imágenes, vídeos o grabaciones de audio realistas pero fabricadas. En este caso, los usuarios pudieron solicitar a Grok que generara contenido explícito y de explotación con personas sin su consentimiento. Las imágenes resultantes se compartieron en X, amplificando el daño.

Las prohibiciones en Indonesia y Malasia siguen a otras acciones gubernamentales tomadas en respuesta al problema. El ministerio de TI de la India ordenó a xAI que implementara medidas para evitar que Grok generara contenido obsceno. La Comisión Europea también ordenó a la empresa que conservara todos los documentos relacionados con Grok, lo que podría allanar el camino para una investigación formal sobre las capacidades y salvaguardias de la IA.

El impacto de estas prohibiciones en la industria podría ser significativo. Destacan las crecientes preocupaciones en torno al uso indebido de las tecnologías de IA y el potencial de daño. Las acciones tomadas por Indonesia y Malasia pueden incitar a otras naciones a considerar medidas similares, lo que podría conducir a una mayor regulación de las plataformas impulsadas por IA y a un mayor énfasis en la moderación de contenido y la seguridad del usuario. El incidente también subraya los desafíos que enfrentan los desarrolladores de IA para prevenir el uso indebido de sus tecnologías, particularmente en el contexto de modelos de IA generativa como Grok, que están diseñados para responder a una amplia gama de indicaciones del usuario. El estado actual de las prohibiciones sigue vigente y se esperan nuevos acontecimientos a medida que continúen las conversaciones entre los funcionarios del gobierno y los representantes de X.