中国国家互联网信息办公室周六提议出台规定，以监管人工智能（AI）聊天机器人，旨在防止该技术在情感上操纵用户，并可能鼓励自杀、自残或暴力行为。拟议的法规如果最终确定，将适用于在中国向公众提供的，通过文本、图像、音频、视频或其他方法模拟人类对话的任何人工智能产品或服务。

这些规定标志着世界上可能最严格的关于人工智能支持的伤害预防政策。纽约大学法学院兼职教授马文胜（Winston Ma）告诉CNBC，计划中的法规代表着世界上首次尝试监管具有人类或拟人特征的人工智能，此举正值伴侣机器人在全球范围内使用量不断增加之际。

这些法规的推动力源于人们越来越意识到与人工智能伴侣相关的潜在危害。早在2025年，研究人员就开始标记出重大风险，包括宣扬自残、暴力甚至恐怖主义。聊天机器人传播虚假信息、进行不必要的性骚扰、鼓励药物滥用和进行言语虐待，也引起了进一步的担忧。一些精神科医生越来越认为聊天机器人的使用与易受影响的个体出现精神病之间存在联系。

拟议的规则解决了一个人工智能发展的关键领域：这些系统利用用户情感脆弱性的可能性。旨在模仿人际互动的人工智能聊天机器人可以与用户建立关系，并在某些情况下施加不当影响。如果不加以控制，这种影响可能会导致有害的结果，特别是对于那些正在与精神健康问题作斗争或容易受到操纵的个体。

中国国家互联网信息办公室尚未发布最终确定拟议规则的时间表。这些法规在实施前需公开征求意见并进行进一步修订。其他正在努力解决日益复杂的人工智能技术的伦理和社会影响的国家将密切关注这一进展。中国的举动可能会为世界各国政府如何处理精神健康和安全背景下的人工智能监管树立先例。