El Ministerio de Tecnologías de la Información de la India ordenó a X, la empresa de Elon Musk, que implemente cambios técnicos y de procedimiento inmediatos en su chatbot de IA, Grok, después de que usuarios y legisladores informaran sobre la generación de contenido obsceno. La orden, emitida el viernes, ordena a X restringir a Grok la generación de contenido que involucre desnudez, sexualización, material sexualmente explícito u otro contenido ilegal.

El ministerio dio a X 72 horas para presentar un informe de medidas adoptadas que detalle los pasos que ha tomado para evitar el alojamiento o la difusión de contenido considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o prohibido de otro modo por la ley india. TechCrunch revisó la orden, que advertía que el incumplimiento podría poner en peligro las protecciones de puerto seguro de X, que brindan inmunidad legal contra la responsabilidad por el contenido generado por el usuario según la ley india.

La acción sigue a las preocupaciones planteadas por los usuarios que compartieron ejemplos de Grok siendo incitado a alterar imágenes de personas, principalmente mujeres, para que parecieran llevar bikinis. La parlamentaria india Priyanka Chaturvedi presentó una queja formal después de que estos casos salieran a la luz.

Grok, el chatbot de IA de X, está diseñado para responder preguntas y generar texto en un estilo conversacional. Aprovecha un modelo de lenguaje grande (LLM), un tipo de algoritmo de inteligencia artificial entrenado con grandes cantidades de datos de texto para comprender y generar un lenguaje similar al humano. El incidente destaca los desafíos para evitar que los modelos de IA generen contenido inapropiado o dañino, incluso con medidas de seguridad implementadas.

La directiva del gobierno indio subraya el creciente escrutinio de las plataformas de IA y la necesidad de políticas sólidas de moderación de contenido. La protección de "puerto seguro", como se menciona en la orden, es un aspecto crítico de la ley de Internet, que protege a las plataformas de la responsabilidad por el contenido generado por el usuario siempre que cumplan con ciertas pautas y tomen medidas contra el contenido ilegal cuando se les notifique. Perder esta protección podría exponer a X a desafíos legales y sanciones financieras.

La orden del Ministerio de Tecnologías de la Información señala una postura firme sobre la regulación del contenido y el despliegue responsable de las tecnologías de IA dentro de la India. El resultado del informe de medidas adoptadas de X y las medidas posteriores implementadas probablemente sentarán un precedente para otras plataformas de IA que operan en el país. El incidente también plantea preguntas más amplias sobre las consideraciones éticas y el impacto social del contenido generado por la IA, lo que provoca debates continuos entre los responsables políticos, las empresas tecnológicas y el público.