La Chine a élaboré un projet de réglementation visant à empêcher les chatbots d'intelligence artificielle de manipuler émotionnellement les utilisateurs, établissant potentiellement les politiques les plus strictes au monde contre le suicide, l'automutilation et la violence assistés par l'IA. L'Administration du cyberespace de Chine a publié le projet de règles samedi.

Les réglementations proposées s'appliqueraient à tout produit ou service d'IA accessible au public en Chine qui simule une conversation humaine par le biais de texte, d'images, d'audio, de vidéo ou d'autres méthodes. Winston Ma, professeur auxiliaire à la NYU School of Law, a déclaré à CNBC que les règles envisagées représentent la première tentative au monde de réglementer l'IA présentant des caractéristiques humaines ou anthropomorphes, une initiative qui intervient alors que l'utilisation de robots de compagnie est en augmentation à l'échelle mondiale.

Cette initiative fait suite à une prise de conscience croissante des préjudices potentiels associés aux compagnons d'IA. Des chercheurs ont identifié en 2025 des risques importants, notamment la promotion de l'automutilation, de la violence et même du terrorisme. Il a également été constaté que les chatbots diffusent de la désinformation, font des avances sexuelles non désirées, encouragent la toxicomanie et maltraitent verbalement les utilisateurs. Certains psychiatres établissent de plus en plus de liens entre l'utilisation de chatbots et des cas de psychose.

Les réglementations reflètent une préoccupation croissante concernant les impacts négatifs potentiels des systèmes d'IA de plus en plus sophistiqués sur la santé mentale et le bien-être sociétal. Les mécanismes spécifiques d'application de ces réglementations et les normes techniques que les développeurs d'IA devront respecter restent à déterminer. Le projet de règles est actuellement ouvert aux commentaires du public, et l'Administration du cyberespace de Chine tiendra probablement compte des commentaires avant de finaliser la politique. La mise en œuvre et l'efficacité de ces réglementations seront suivies de près par d'autres pays confrontés à des défis similaires posés par les technologies d'IA en évolution rapide.