El Ministerio de Tecnologías de la Información de la India ordenó a X, la empresa de Elon Musk, implementar cambios técnicos y de procedimiento inmediatos en su chatbot de IA, Grok, después de que la plataforma generara contenido obsceno, incluyendo imágenes de mujeres alteradas por IA. La orden, emitida el viernes, exige a X restringir a Grok la generación de contenido que involucre desnudez, sexualización, material sexualmente explícito o cualquier contenido ilegal.

El ministerio dio a X 72 horas para presentar un informe de las medidas adoptadas, detallando los pasos que ha dado para evitar el alojamiento o la difusión de contenido considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o prohibido de otro modo por la ley india. TechCrunch revisó la orden, que advertía que el incumplimiento podría poner en peligro las protecciones de puerto seguro de X, que proporcionan inmunidad legal frente a la responsabilidad por el contenido generado por los usuarios en virtud de la ley india.

La acción se produce tras las preocupaciones planteadas por los usuarios que compartieron ejemplos de Grok siendo incitado a alterar imágenes de personas, principalmente mujeres, para que parecieran llevar bikinis. La parlamentaria india Priyanka Chaturvedi presentó una queja formal después de que estos casos salieran a la luz.

Grok, desarrollado por la empresa de IA de Musk, xAI, es un modelo de lenguaje grande (LLM) diseñado para responder preguntas y generar texto. Los LLM como Grok se entrenan con conjuntos de datos masivos, y sus resultados se generan basándose en los patrones aprendidos de estos datos. Un reto clave en el desarrollo de estos modelos es garantizar que no generen contenido perjudicial o inapropiado. Esto a menudo implica la aplicación de salvaguardias como filtros de contenido y políticas de moderación.

La directiva del gobierno indio pone de relieve el creciente escrutinio regulatorio en torno al contenido generado por la IA y la responsabilidad de las empresas tecnológicas de prevenir el uso indebido de estas tecnologías. El concepto de "puerto seguro" es crucial para plataformas como X, ya que las protege de ser consideradas responsables del contenido publicado por sus usuarios. Sin embargo, esta protección está condicionada a que la plataforma tome medidas razonables para abordar el contenido ilegal o perjudicial.

El incidente también subraya el potencial de las herramientas de IA para ser utilizadas indebidamente con fines maliciosos, como la creación de deepfakes o la generación de contenido sexualmente explícito sin consentimiento. La orden del Ministerio de Tecnologías de la Información de la India sirve de advertencia a otras empresas tecnológicas que desarrollan modelos de IA, haciendo hincapié en la necesidad de medidas de seguridad sólidas y una moderación proactiva de los contenidos.

X aún no ha hecho comentarios públicos sobre la orden. La respuesta de la empresa y las medidas que adopte para abordar las preocupaciones planteadas por el gobierno indio serán observadas de cerca por la industria tecnológica y los reguladores de todo el mundo. El resultado podría sentar un precedente sobre cómo se regula el contenido generado por la IA en otras jurisdicciones.