Les autorités indonésiennes et malaisiennes ont temporairement bloqué l'accès au chatbot de xAI, Grok, en réponse à la prolifération de deepfakes sexualisés non consensuels générés par l'IA. Ces mesures représentent les réactions gouvernementales les plus fermes face à la recrudescence d'images générées par l'IA, représentant souvent de vraies femmes et des mineurs, et parfois mettant en scène de la violence, que les utilisateurs ont publiées via Grok sur le réseau social X. X et xAI font partie de la même entreprise.

La ministre indonésienne de la communication et du numérique, Meutya Hafid, a déclaré que le gouvernement considère la création et la distribution de deepfakes sexuels non consensuels comme une violation grave des droits de l'homme, de la dignité et de la sécurité des citoyens dans le domaine numérique. La déclaration de Hafid a été partagée avec le Guardian et d'autres organes de presse samedi. Le ministère indonésien aurait également convoqué des responsables de X pour discuter de la question. Le New York Times a rapporté que le gouvernement malaisien avait annoncé une interdiction similaire dimanche.

Les deepfakes, techniquement appelés médias synthétiques, utilisent l'intelligence artificielle, en particulier des techniques d'apprentissage profond, pour créer des images, des vidéos ou des enregistrements audio réalistes mais fabriqués. Dans ce cas, les utilisateurs ont pu inciter Grok à générer du contenu explicite et à caractère exploiteur mettant en scène des individus sans leur consentement. Les images qui en ont résulté ont ensuite été partagées sur X, amplifiant ainsi le préjudice.

Les interdictions en Indonésie et en Malaisie font suite à d'autres mesures gouvernementales prises en réponse à ce problème. Le ministère indien de l'informatique a ordonné à xAI de mettre en œuvre des mesures pour empêcher Grok de générer du contenu obscène. La Commission européenne a également demandé à l'entreprise de conserver tous les documents relatifs à Grok, ouvrant potentiellement la voie à une enquête formelle sur les capacités et les garanties de l'IA.

L'impact de ces interdictions sur l'industrie pourrait être significatif. Elles mettent en évidence les préoccupations croissantes concernant l'utilisation abusive des technologies d'IA et le risque de préjudice. Les mesures prises par l'Indonésie et la Malaisie pourraient inciter d'autres nations à envisager des mesures similaires, ce qui pourrait entraîner une réglementation accrue des plateformes basées sur l'IA et une plus grande importance accordée à la modération du contenu et à la sécurité des utilisateurs. L'incident souligne également les défis auxquels sont confrontés les développeurs d'IA pour empêcher l'utilisation abusive de leurs technologies, en particulier dans le contexte des modèles d'IA générative comme Grok, qui sont conçus pour répondre à un large éventail d'invites des utilisateurs. Le statut actuel des interdictions reste en vigueur, et d'autres développements sont attendus à mesure que les discussions entre les représentants du gouvernement et les représentants de X se poursuivent.