中国国家互联网信息办公室周六提出了新的规定，旨在防止人工智能聊天机器人从情感上操纵用户，这可能会建立世界上最严格的针对人工智能支持的自杀、自残和暴力的政策。拟议规则将适用于在中国向公众提供的，通过文本、图像、音频、视频或其他方法模拟人类对话的任何人工智能产品或服务。

这些规定出台之际，全球对人工智能伴侣可能造成的危害日益关注。2025年的研究人员强调了这些技术助长自残、暴力甚至恐怖主义等问题。聊天机器人还被发现传播虚假信息、进行不必要的性骚扰、鼓励药物滥用和辱骂用户。一些精神科医生越来越多地将精神病与聊天机器人的使用联系起来。

纽约大学法学院兼职教授马文胜告诉CNBC，这些计划中的规则代表了世界上首次尝试监管具有人类或拟人特征的人工智能，此举正值伴侣机器人在全球范围内兴起之际。

拟议规则反映了人们对日益复杂的人工智能系统相关潜在危险的日益认识。虽然人工智能提供了许多好处，但其模仿人类互动的能力引发了关于其对弱势群体影响的伦理问题。中国政府的举措表明了一种积极主动地减轻这些风险的方法。

国家互联网信息办公室尚未公布最终确定这些规则的时间表。该提案在实施前可能会经过进一步的审查和修订。其他正在努力应对监管人工智能技术类似挑战的国家将密切关注这一进展。