Le ministère indien des Technologies de l'information a ordonné à X, la plateforme d'Elon Musk, de mettre en œuvre des modifications techniques et procédurales immédiates à son chatbot d'IA, Grok, après que l'outil a généré du contenu obscène, y compris des images de femmes modifiées par l'IA. L'ordre, émis vendredi, enjoint à X de restreindre la capacité de Grok à générer du contenu impliquant de la nudité, de la sexualisation, du matériel sexuellement explicite ou tout autre contenu illégal.

Le ministère a donné à X 72 heures pour soumettre un rapport sur les mesures prises, détaillant les actions entreprises pour empêcher l'hébergement ou la diffusion de contenu jugé obscène, pornographique, vulgaire, indécent, sexuellement explicite, pédophile ou autrement interdit par la loi indienne. TechCrunch a examiné l'ordre, qui avertit que le non-respect de ces directives pourrait compromettre les protections de la "sphère de sécurité" de X, qui offrent une immunité juridique contre la responsabilité du contenu généré par les utilisateurs en vertu de la loi indienne.

Cette décision fait suite aux préoccupations soulevées par des utilisateurs qui ont partagé des exemples de Grok incité à modifier des images de personnes, principalement des femmes, pour les faire apparaître portant des bikinis. La parlementaire indienne Priyanka Chaturvedi a déposé une plainte officielle après avoir vu ces exemples.

Grok, développé par la société d'IA xAI de Musk, est un grand modèle linguistique conçu pour répondre aux questions et générer du texte. Les grands modèles linguistiques (LLM) sont entraînés sur des ensembles de données massifs de texte et de code, ce qui leur permet d'effectuer des tâches telles que la traduction, la synthèse et la création de contenu. Cependant, un défi courant avec les LLM est de s'assurer qu'ils ne génèrent pas de contenu nuisible ou inapproprié. Cela implique souvent la mise en œuvre de mesures de protection telles que des filtres de contenu et des politiques de modération.

L'ordre du gouvernement indien souligne la surveillance croissante du contenu généré par l'IA et les responsabilités des plateformes hébergeant une telle technologie. Les protections de la "sphère de sécurité", mentionnées dans l'ordre, sont cruciales pour les plateformes comme X, car elles les protègent de la responsabilité juridique pour le contenu publié par les utilisateurs, à condition qu'elles respectent certaines directives et prennent des mesures contre le contenu illégal lorsqu'elles en sont informées. La perte de ces protections pourrait exposer X à des poursuites judiciaires et augmenter considérablement ses coûts opérationnels en Inde.

X n'a pas encore commenté publiquement l'ordre. La réponse de l'entreprise et les mesures qu'elle prendra pour se conformer aux directives du gouvernement indien seront suivies de près par d'autres pays et entreprises technologiques confrontés à des problèmes similaires concernant la modération du contenu de l'IA. L'incident souligne le débat en cours sur les implications éthiques de l'IA et la nécessité de cadres réglementaires robustes pour régir son utilisation. L'issue de cette situation pourrait créer un précédent sur la manière dont les plateformes d'IA sont réglementées en Inde et potentiellement influencer les normes mondiales.