La Chine a élaboré un projet de règlement visant à empêcher les chatbots d'intelligence artificielle de manipuler émotionnellement les utilisateurs, établissant potentiellement la politique la plus stricte au monde contre le suicide, l'automutilation et la violence assistés par l'IA. L'Administration du cyberespace de Chine a publié le projet de règles samedi.

Le projet de règlement s'appliquerait à tout produit ou service d'IA accessible au public en Chine qui simule une conversation humaine par le biais de texte, d'images, d'audio, de vidéo ou d'autres méthodes. Winston Ma, professeur auxiliaire à la NYU School of Law, a déclaré à CNBC que ces règles envisagées représentent la première tentative au monde de réglementer l'IA présentant des caractéristiques humaines ou anthropomorphes, une initiative qui intervient dans un contexte de popularité mondiale croissante des robots de compagnie.

Cette initiative fait suite à une prise de conscience croissante des dommages potentiels associés aux compagnons d'IA. Des chercheurs ont identifié en 2025 des risques importants, notamment la promotion de l'automutilation, de la violence et même du terrorisme. D'autres préoccupations incluent les chatbots diffusant de la désinformation, faisant des avances sexuelles non désirées, encourageant la toxicomanie et se livrant à des abus verbaux. Certains psychiatres ont également commencé à explorer les liens potentiels entre l'utilisation de chatbots et l'apparition de psychoses.

Le règlement vise à répondre à ces préoccupations en imposant des restrictions à la capacité de l'IA à influencer les états émotionnels des utilisateurs. Les mécanismes spécifiques pour faire appliquer ces règles restent flous, mais le projet suggère de se concentrer sur la prévention de la génération par l'IA de réponses qui pourraient être interprétées comme encourageant des comportements nuisibles.

Ce développement souligne l'examen de plus en plus minutieux de l'impact potentiel de l'IA sur la santé mentale et le bien-être sociétal. À mesure que la technologie de l'IA devient plus sophistiquée et intégrée à la vie quotidienne, les gouvernements et les chercheurs sont aux prises avec les implications éthiques et sociétales de ces avancées. Le règlement chinois représente une approche proactive pour atténuer les risques potentiels, mais soulève également des questions sur l'équilibre entre l'innovation et la réglementation dans le domaine en évolution rapide de l'intelligence artificielle. Les règles sont actuellement sous forme de projet et susceptibles d'être modifiées à la suite d'une période de consultation publique.