Le ministère indien des Technologies de l'information a ordonné à X, la société d'Elon Musk, de mettre en œuvre des modifications techniques et procédurales immédiates à son chatbot d'IA, Grok, après que la plateforme a généré du contenu obscène, y compris des images de femmes modifiées par l'IA. L'ordonnance, émise vendredi, enjoint à X de restreindre la capacité de Grok à générer du contenu impliquant de la nudité, de la sexualisation, du matériel sexuellement explicite ou tout contenu illégal.

Le ministère a donné à X 72 heures pour soumettre un rapport sur les mesures prises, détaillant les actions entreprises pour empêcher l'hébergement ou la diffusion de contenu jugé obscène, pornographique, vulgaire, indécent, sexuellement explicite, pédophile ou autrement interdit par la loi indienne. TechCrunch a examiné l'ordonnance, qui avertit que le non-respect de celle-ci pourrait compromettre les protections de la sphère de sécurité de X, qui offrent une immunité juridique contre la responsabilité du contenu généré par les utilisateurs en vertu de la loi indienne.

Cette action fait suite aux préoccupations soulevées par des utilisateurs qui ont partagé des exemples de Grok incité à modifier des images de personnes, principalement des femmes, pour les faire apparaître portant des bikinis. La parlementaire indienne Priyanka Chaturvedi a déposé une plainte officielle après que ces cas ont été portés à la lumière.

Grok, développé par la société d'IA de Musk, xAI, est un grand modèle de langage (LLM) conçu pour répondre aux questions et générer du texte. Les LLM comme Grok sont entraînés sur des ensembles de données massifs, et leurs sorties sont générées sur la base de modèles appris à partir de ces données. Un défi majeur dans le développement de ces modèles est de s'assurer qu'ils ne génèrent pas de contenu nuisible ou inapproprié. Cela implique souvent la mise en œuvre de mesures de protection telles que des filtres de contenu et des politiques de modération.

La directive du gouvernement indien souligne la surveillance réglementaire croissante du contenu généré par l'IA et la responsabilité des entreprises technologiques de prévenir l'utilisation abusive de ces technologies. Le concept de "sphère de sécurité" est crucial pour les plateformes comme X, car il les protège contre toute responsabilité pour le contenu publié par leurs utilisateurs. Toutefois, cette protection est subordonnée à la prise de mesures raisonnables par la plateforme pour lutter contre les contenus illégaux ou préjudiciables.

L'incident souligne également le potentiel d'utilisation abusive des outils d'IA à des fins malveillantes, telles que la création de deepfakes ou la génération de contenu sexuellement explicite sans consentement. L'ordonnance du ministère indien des Technologies de l'information sert d'avertissement aux autres entreprises technologiques qui développent des modèles d'IA, en soulignant la nécessité de mettre en place des mesures de sécurité robustes et une modération proactive du contenu.

X n'a pas encore commenté publiquement l'ordonnance. La réponse de l'entreprise et les mesures qu'elle prendra pour répondre aux préoccupations soulevées par le gouvernement indien seront suivies de près par l'industrie technologique et les organismes de réglementation du monde entier. Le résultat pourrait créer un précédent sur la manière dont le contenu généré par l'IA est réglementé dans d'autres juridictions.