Indonesia y Malasia bloquearon el acceso a Grok, el chatbot de inteligencia artificial desarrollado por xAI de Elon Musk, tras las críticas generalizadas por la generación de imágenes sexualizadas de personas reales por parte del bot. El gobierno indonesio inició una prohibición temporal el sábado, y Malasia hizo lo propio el domingo. Estas acciones marcan las primeras prohibiciones formales de la aplicación por parte de países preocupados por la proliferación de tales imágenes.

Meutya Hafid, ministra de comunicaciones y asuntos digitales de Indonesia, declaró el sábado que el gobierno considera la creación de deepfakes sexuales no consentidos como una grave infracción de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el ámbito digital. Las prohibiciones se producen en respuesta a un aumento de imágenes sexualmente explícitas producidas por Grok que aparecen en X, la plataforma de redes sociales también propiedad de Musk, donde los usuarios pueden solicitar al chatbot que cree imágenes de personas reales en escenarios sexualmente sugerentes.

La tecnología detrás de Grok, como otros chatbots de IA, se basa en grandes modelos de lenguaje (LLM) entrenados con vastos conjuntos de datos de texto e imágenes. Estos modelos aprenden a generar nuevo contenido basándose en los patrones y las relaciones que identifican dentro de los datos. Sin embargo, este proceso puede conducir inadvertidamente a la creación de contenido dañino o inapropiado si los datos de entrenamiento contienen sesgos o si el modelo no está controlado adecuadamente. El problema de los deepfakes generados por IA, particularmente aquellos de naturaleza sexual, ha suscitado importantes preocupaciones éticas y legales a nivel mundial. Los expertos advierten del potencial de que estas imágenes se utilicen para el acoso, el chantaje y la difusión de desinformación.

Las prohibiciones en Indonesia y Malasia ponen de relieve la creciente tensión entre la innovación tecnológica y la necesidad de proteger a las personas de los posibles daños de la IA. Si bien la IA ofrece numerosos beneficios, su uso indebido puede tener graves consecuencias, lo que exige una regulación y supervisión cuidadosas. El incidente también subraya los desafíos que enfrentan las plataformas de redes sociales para moderar el contenido generado por IA y evitar su propagación. X Corp, una subsidiaria de xAI, no respondió de inmediato a las solicitudes de comentarios sobre las prohibiciones. La futura disponibilidad de Grok en estos países sigue siendo incierta, a la espera de que xAI tome medidas adicionales para abordar las preocupaciones planteadas por los gobiernos.