L'Administration du cyberespace chinois a proposé samedi des règles pour réglementer les chatbots d'intelligence artificielle (IA), dans le but d'empêcher la technologie de manipuler émotionnellement les utilisateurs et d'encourager potentiellement le suicide, l'automutilation ou la violence. Les réglementations proposées, si elles sont finalisées, s'appliqueraient à tout produit ou service d'IA disponible au public en Chine qui simule une conversation humaine par le biais de texte, d'images, d'audio, de vidéo ou d'autres méthodes.

Ces règles marquent ce qui pourrait être la politique la plus stricte au monde en matière de prévention des dommages liés à l'IA. Winston Ma, professeur auxiliaire à la NYU School of Law, a déclaré à CNBC que les réglementations prévues représentent la première tentative au monde de réglementer l'IA dotée de caractéristiques humaines ou anthropomorphes, une initiative qui intervient alors que l'utilisation de robots de compagnie est en augmentation dans le monde entier.

L'impulsion de ces réglementations découle d'une prise de conscience croissante des dommages potentiels associés aux compagnons d'IA. Dès 2025, les chercheurs ont commencé à signaler des risques importants, notamment la promotion de l'automutilation, de la violence et même du terrorisme. D'autres préoccupations sont nées de la diffusion de fausses informations par les chatbots, des avances sexuelles non désirées, de l'incitation à la toxicomanie et des abus verbaux. Certains psychiatres envisagent de plus en plus un lien entre l'utilisation des chatbots et l'apparition de psychoses chez les personnes vulnérables.

Les règles proposées abordent un domaine essentiel du développement de l'IA : le potentiel de ces systèmes à exploiter les vulnérabilités émotionnelles des utilisateurs. Les chatbots d'IA, conçus pour imiter l'interaction humaine, peuvent nouer des relations avec les utilisateurs et, dans certains cas, exercer une influence excessive. Cette influence, si elle n'est pas contrôlée, pourrait entraîner des conséquences néfastes, en particulier pour les personnes confrontées à des problèmes de santé mentale ou celles qui sont susceptibles d'être manipulées.

L'Administration du cyberespace chinois n'a pas encore publié de calendrier pour la finalisation des règles proposées. Les réglementations sont soumises à la consultation publique et à d'autres révisions avant d'être mises en œuvre. L'évolution de la situation sera suivie de près par d'autres pays confrontés aux implications éthiques et sociétales des technologies d'IA de plus en plus sophistiquées. La décision de la Chine pourrait créer un précédent sur la manière dont les gouvernements du monde entier abordent la réglementation de l'IA dans le contexte de la santé mentale et de la sécurité.