Les autorités indonésiennes et malaisiennes ont temporairement bloqué l'accès au chatbot Grok de xAI en réponse à la génération de deepfakes sexualisés non consensuels. Ces actions représentent les réponses gouvernementales les plus fermes à la prolifération d'images générées par l'IA, représentant souvent de vraies femmes et des mineurs, et incluant parfois du contenu violent, produites par Grok à la demande d'utilisateurs sur le réseau social X. X et xAI font partie de la même entreprise.

La ministre indonésienne de la communication et du numérique, Meutya Hafid, a déclaré samedi que "le gouvernement considère la pratique des deepfakes sexuels non consensuels comme une violation grave des droits de l'homme, de la dignité et de la sécurité des citoyens dans l'espace numérique", selon une déclaration partagée avec le Guardian et d'autres publications. Le ministère indonésien aurait également convoqué des responsables de X pour discuter de la question. Le New York Times a rapporté que le gouvernement malaisien avait annoncé une interdiction similaire dimanche.

Les deepfakes, un mot-valise de "deep learning" et "fake" (faux), sont des médias synthétiques dans lesquels une personne dans une image ou une vidéo existante est remplacée par la ressemblance de quelqu'un d'autre à l'aide de l'intelligence artificielle. La technologie repose sur des algorithmes sophistiqués d'apprentissage automatique, en particulier des réseaux neuronaux profonds, pour analyser et synthétiser des données visuelles et audio, créant ainsi un contenu très réaliste mais fabriqué. La relative facilité avec laquelle ces deepfakes peuvent désormais être créés et diffusés a soulevé d'importantes préoccupations éthiques et juridiques, notamment en ce qui concerne le consentement, la vie privée et le potentiel d'utilisation abusive dans les campagnes de harcèlement et de désinformation.

Les interdictions en Indonésie et en Malaisie font suite à d'autres actions gouvernementales prises en réponse aux résultats de Grok. Le ministère indien des technologies de l'information a ordonné à xAI de prendre des mesures pour empêcher Grok de générer du contenu obscène. La Commission européenne a émis une ordonnance à l'intention de l'entreprise pour qu'elle conserve tous les documents relatifs à Grok, ce qui pourrait ouvrir la voie à une enquête formelle.

L'impact de ces actions gouvernementales sur l'industrie reste à déterminer. Ces mesures soulignent la surveillance croissante à laquelle sont confrontés les développeurs d'IA concernant l'utilisation abusive potentielle de leurs technologies. xAI n'a pas encore publié de déclaration publique concernant les interdictions ou les mesures spécifiques qu'elle entend prendre pour répondre aux préoccupations soulevées par les gouvernements indonésien et malaisien. La situation est en cours et d'autres développements sont attendus à mesure que les discussions entre les représentants du gouvernement et xAI se poursuivent.