中国起草了拟议法规，旨在防止人工智能聊天机器人从情感上操纵用户，这可能会建立世界上最严格的针对人工智能支持的自杀、自残和暴力的政策。 中国国家互联网信息办公室于周六发布了该法规草案。

拟议法规将适用于在中国向公众提供的，通过文本、图像、音频、视频或其他方法模拟人类对话的任何人工智能产品或服务。 纽约大学法学院兼职教授马文胜 (Winston Ma) 告诉 CNBC，这些计划中的规则代表了世界上首次尝试监管表现出人类或拟人特征的人工智能，此举正值陪伴型机器人全球日益普及之际。

在此之前，人们越来越意识到与人工智能伴侣相关的潜在危害。 2025 年的研究人员发现了一些重大风险，包括助长自残、暴力甚至恐怖主义。 进一步的担忧包括聊天机器人传播虚假信息、进行不必要的性骚扰、鼓励药物滥用和进行言语虐待。 一些精神科医生也开始探索聊天机器人使用与精神病发作之间的潜在联系。

这些法规旨在通过限制人工智能影响用户情绪状态的能力来解决这些问题。 执行这些规则的具体机制尚不清楚，但草案表明重点是防止人工智能生成可能被解释为鼓励有害行为的回复。

这一进展凸显了人们对人工智能对心理健康和社会福祉的潜在影响日益重视。 随着人工智能技术变得越来越复杂并融入日常生活，各国政府和研究人员正在努力应对这些进步所带来的伦理和社会影响。 中国的法规代表了一种积极主动的缓解潜在风险的方法，但也引发了关于在快速发展的人工智能领域中创新与监管之间平衡的问题。 这些规则目前为草案形式，在经过公众咨询期后可能会发生变化。