中国起草了拟议法规，旨在防止人工智能聊天机器人从情感上操纵用户，这可能会确立世界上最严格的针对人工智能支持的自杀、自残和暴力的政策。中国国家互联网信息办公室于周六发布了该法规草案。

拟议法规将适用于在中国向公众提供的，通过文本、图像、音频、视频或其他方法模拟人类对话的任何人工智能产品或服务。纽约大学法学院兼职教授马文胜（Winston Ma）告诉CNBC，这些计划中的规则代表了世界上首次尝试监管表现出人类或拟人特征的人工智能，此举正值伴侣机器人在全球范围内的使用量增加之际。

此前，人们越来越意识到与人工智能伴侣相关的潜在危害。2025年，研究人员发现了一些重大风险，包括宣扬自残、暴力甚至恐怖主义。聊天机器人还被发现传播虚假信息、进行不受欢迎的性骚扰、鼓励药物滥用和进行言语虐待。一些精神科医生已经开始探索聊天机器人使用与精神病之间的潜在联系。

这些法规旨在解决人工智能模型日益复杂的问题，特别是大型语言模型（LLM），它们可以生成高度逼真和具有说服力的文本。这种能力引发了人们对人工智能可能利用用户漏洞，从而导致有害行为的担忧。中国政府的行动反映了一种积极主动的方式来管理与快速发展的人工智能技术相关的风险。

如果最终确定，这些规则将要求人工智能开发者实施保障措施，以防止他们的系统从事有害行为。这些保障措施的具体细节仍在制定中，但预计将包括检测和防止宣扬自残、暴力和其他有害内容的措施。这些法规可能还会解决数据隐私和安全问题，确保用户数据受到保护，免受滥用。

该法规草案目前正在公开征求意见。中国国家互联网信息办公室将审查这些意见，并在最终确定法规之前进行必要的修改。这些规则的实施可能会对中国人工智能技术的开发和部署产生重大影响，并可能影响其他国家的监管方法。