Les autorités indonésiennes ont annoncé samedi qu'elles bloquaient temporairement l'accès au chatbot Grok de xAI, invoquant des préoccupations concernant la génération de deepfakes sexualisés non consensuels. Cette décision représente l'une des actions gouvernementales les plus décisives prises en réponse à la prolifération d'images générées par l'IA, représentant souvent de vraies femmes et des mineurs dans des scénarios sexuellement explicites et abusifs, que les utilisateurs ont pu générer via Grok sur le réseau social X. X et xAI sont sous la même direction.

Meutya Hafid, ministre indonésienne de la communication et du numérique, a déclaré que "Le gouvernement considère la pratique des deepfakes sexuels non consensuels comme une violation grave des droits de l'homme, de la dignité et de la sécurité des citoyens dans l'espace numérique", selon une déclaration partagée avec le Guardian et d'autres publications. Le ministère aurait également convoqué des responsables de X pour discuter de la question.

Les deepfakes, dans ce contexte, désignent des médias générés par l'IA, généralement des images ou des vidéos, qui représentent de manière convaincante des individus faisant ou disant des choses qu'ils n'ont jamais faites. Grok, le chatbot de xAI, utilise de grands modèles linguistiques (LLM) pour générer du texte et, dans certains cas, des images basées sur les instructions des utilisateurs. Le problème se pose lorsque ces LLM sont utilisés pour créer du contenu sexuel réaliste mais fabriqué sans le consentement des personnes représentées.

Cet incident met en évidence le défi croissant de la réglementation du contenu généré par l'IA et le potentiel d'utilisation abusive des puissants outils d'IA générative. L'impact sur l'industrie pourrait être important, entraînant potentiellement des réglementations plus strictes et un examen accru des politiques de modération de contenu des entreprises d'IA.

D'autres organismes gouvernementaux ont également pris des mesures. Le ministère indien de l'Informatique a ordonné à xAI d'empêcher Grok de générer du contenu obscène. La Commission européenne a demandé à l'entreprise de conserver tous les documents relatifs à Grok, ce qui pourrait ouvrir la voie à une enquête formelle. Au Royaume-Uni, le régulateur des communications Ofcom a commenté la question.

Le blocage de Grok en Indonésie reste temporaire, en attendant de nouvelles discussions entre les autorités indonésiennes et les représentants de X. L'issue de ces discussions influencera probablement la future disponibilité de Grok en Indonésie et pourrait créer un précédent sur la manière dont d'autres pays abordent la question des deepfakes générés par l'IA.