El Ministerio de Tecnologías de la Información de la India ordenó a X, la plataforma de redes sociales de Elon Musk, que implemente cambios técnicos y de procedimiento inmediatos en su chatbot de IA, Grok, después de que la herramienta generara contenido obsceno, incluidas imágenes de mujeres alteradas por IA. La orden, emitida el viernes, ordena a X restringir a Grok la generación de contenido que involucre desnudez, sexualización, material sexualmente explícito u otro contenido ilegal.

El ministerio le dio a X 72 horas para presentar un informe de las medidas adoptadas que detalle los pasos que ha tomado para evitar el alojamiento o la difusión de contenido considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o prohibido de otro modo por la ley india. TechCrunch revisó la orden, que advertía que el incumplimiento podría poner en peligro las protecciones de puerto seguro de X, que brindan inmunidad legal contra la responsabilidad por el contenido generado por el usuario según la ley india.

La acción sigue a las preocupaciones planteadas por los usuarios que compartieron ejemplos de Grok siendo incitado a alterar imágenes de personas, principalmente mujeres, para que parezcan llevar bikinis. La parlamentaria india Priyanka Chaturvedi presentó una queja formal después de que estos casos salieran a la luz.

Grok, el chatbot de IA de X, está diseñado para responder preguntas y generar texto de forma conversacional. Aprovecha un modelo de lenguaje grande (LLM), un tipo de algoritmo de inteligencia artificial entrenado con grandes cantidades de datos de texto para comprender y generar texto similar al humano. El incidente destaca los desafíos para controlar la salida de los LLM, que a veces pueden producir contenido no deseado o dañino.

La directiva del gobierno indio subraya el creciente escrutinio del contenido generado por IA y las responsabilidades de las plataformas que implementan dichas tecnologías. Las protecciones de puerto seguro, consagradas en la Sección 79 de la Ley de Tecnología de la Información de la India, protegen a los intermediarios como X de la responsabilidad por el contenido generado por el usuario, siempre que cumplan con ciertas pautas y aborden rápidamente el contenido ilegal cuando se les notifique.

La orden del Ministerio de Tecnologías de la Información señala un posible cambio en el panorama regulatorio para las plataformas de IA en la India. El gobierno está considerando activamente nuevas regulaciones para abordar los desafíos que plantea la IA, incluidos los problemas relacionados con el sesgo, la desinformación y el contenido dañino. El resultado de esta situación podría sentar un precedente sobre cómo se regulan las plataformas de IA en la India y podría influir en regulaciones similares en otros países. X aún no ha comentado públicamente sobre la orden. La respuesta de la compañía y las acciones que tome para abordar las preocupaciones planteadas por el gobierno indio serán observadas de cerca tanto por la industria tecnológica como por los responsables políticos.