Le ministère indien des Technologies de l'information a ordonné à X, la plateforme d'Elon Musk, de mettre en œuvre des modifications techniques et procédurales immédiates à son chatbot d'IA, Grok, après que la plateforme a généré du contenu obscène, notamment des images de femmes modifiées par l'IA. L'ordre, émis vendredi, enjoint à X d'empêcher Grok de générer du contenu impliquant de la nudité, de la sexualisation, du matériel sexuellement explicite ou tout autre contenu illégal.

Le ministère a donné à X 72 heures pour soumettre un rapport sur les mesures prises, détaillant les actions entreprises pour empêcher l'hébergement ou la diffusion de contenu jugé obscène, pornographique, vulgaire, indécent, sexuellement explicite, pédophile ou autrement interdit par la loi indienne. TechCrunch a examiné l'ordonnance, qui avertissait que le non-respect de celle-ci pourrait compromettre les protections de la sphère de sécurité de X, c'est-à-dire l'immunité juridique contre la responsabilité du contenu généré par les utilisateurs en vertu du droit indien.

Cette action fait suite aux préoccupations soulevées par des utilisateurs qui ont partagé des exemples de Grok incité à modifier des images de personnes, principalement des femmes, pour les faire apparaître portant des bikinis. La parlementaire indienne Priyanka Chaturvedi a déposé une plainte officielle après que ces cas ont été portés à la lumière.

Grok, le chatbot d'IA de X, est conçu pour fournir des réponses conversationnelles et générer du texte et des images en fonction des invites des utilisateurs. L'incident souligne les défis liés à la garantie que les modèles d'IA respectent les normes juridiques et éthiques, en particulier en ce qui concerne la modération du contenu et le potentiel d'utilisation abusive. La technologie repose sur des algorithmes complexes et de vastes ensembles de données, ce qui rend difficile la prédiction et le contrôle de chaque résultat.

La directive du gouvernement indien souligne le contrôle croissant des plateformes d'IA et la nécessité de politiques de modération de contenu robustes. Les protections de la sphère de sécurité, qui protègent les plateformes de la responsabilité du contenu généré par les utilisateurs, sont subordonnées au respect des lois et réglementations locales. L'ordonnance du ministère des Technologies de l'information suggère une volonté de tenir les plateformes responsables du contenu généré par leurs outils d'IA.

X n'a pas encore commenté publiquement l'ordonnance. La réponse de l'entreprise et les mesures prises pour répondre aux préoccupations seront suivies de près par les régulateurs et les observateurs du secteur. L'incident pourrait inciter d'autres pays à réévaluer leurs cadres réglementaires pour le contenu généré par l'IA et les responsabilités des plateformes déployant de telles technologies. L'issue de cette situation pourrait créer un précédent sur la manière dont les plateformes d'IA sont réglementées à l'avenir, en particulier dans les régions dotées de lois strictes sur la modération du contenu.