El Ministerio de Tecnologías de la Información de la India ordenó a X, la empresa de Elon Musk, implementar cambios técnicos y de procedimiento inmediatos en su chatbot de IA, Grok, después de que la plataforma generara contenido obsceno, incluyendo imágenes de mujeres alteradas por IA. La orden, emitida el viernes, exige a X restringir a Grok la generación de contenido que involucre desnudez, sexualización, material sexualmente explícito u otro contenido ilegal.

El ministerio dio a X 72 horas para presentar un informe de medidas adoptadas que detalle los pasos dados para evitar el alojamiento o la difusión de contenido considerado obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o prohibido de otro modo por la ley india. TechCrunch revisó la orden, que advertía que el incumplimiento podría poner en peligro las protecciones de puerto seguro de X: la inmunidad legal de responsabilidad por el contenido generado por los usuarios según la ley india.

La acción se produce tras las preocupaciones planteadas por los usuarios que compartieron ejemplos de Grok siendo incitado a alterar imágenes de personas, principalmente mujeres, para que parecieran llevar bikinis. La parlamentaria india Priyanka Chaturvedi presentó una queja formal después de que estos casos salieran a la luz.

Grok, el chatbot de IA de X, está diseñado para proporcionar respuestas conversacionales y generar texto e imágenes basados en las indicaciones del usuario. El incidente pone de relieve los retos de garantizar que los modelos de IA se ajusten a las normas legales y éticas, en particular en lo que respecta a la moderación de contenidos y el potencial de uso indebido. La tecnología se basa en algoritmos complejos y vastos conjuntos de datos, lo que dificulta la predicción y el control de cada resultado.

La directiva del gobierno indio subraya el creciente escrutinio de las plataformas de IA y la necesidad de políticas sólidas de moderación de contenidos. Las protecciones de puerto seguro, que protegen a las plataformas de la responsabilidad por el contenido generado por los usuarios, están supeditadas al cumplimiento de las leyes y reglamentos locales. La orden del Ministerio de Tecnologías de la Información sugiere una voluntad de responsabilizar a las plataformas por el contenido generado por sus herramientas de IA.

X aún no ha hecho comentarios públicos sobre la orden. La respuesta de la empresa y las medidas adoptadas para abordar las preocupaciones serán observadas de cerca por los reguladores y los observadores de la industria. El incidente podría impulsar a otros países a reevaluar sus marcos regulatorios para el contenido generado por la IA y las responsabilidades de las plataformas que despliegan tales tecnologías. El resultado de esta situación podría sentar un precedente sobre cómo se regulan las plataformas de IA en el futuro, particularmente en regiones con leyes estrictas de moderación de contenido.