중국 사이버 공간 관리국은 토요일 인공지능(AI) 챗봇을 규제하는 규칙을 제안하여, 이 기술이 사용자를 감정적으로 조종하고 잠재적으로 자살, 자해 또는 폭력을 조장하는 것을 방지하는 것을 목표로 한다. 제안된 규정은 확정될 경우 텍스트, 이미지, 오디오, 비디오 또는 기타 방법을 통해 인간의 대화를 시뮬레이션하는 중국 내에서 대중이 이용할 수 있는 모든 AI 제품 또는 서비스에 적용된다.

이 규칙은 AI 지원 유해 방지에 관한 세계에서 가장 엄격한 정책이 될 수 있음을 시사한다. 뉴욕대학교 로스쿨의 윈스턴 마 겸임 교수는 CNBC에 이번 규정 계획이 인간 또는 의인화된 특성을 가진 AI를 규제하려는 세계 최초의 시도이며, 이는 컴패니언 봇의 사용이 전 세계적으로 증가함에 따라 나온 조치라고 말했다.

이러한 규정의 추진력은 AI 컴패니언과 관련된 잠재적 유해성에 대한 인식이 높아짐에 따라 비롯된다. 2025년 초부터 연구자들은 자해, 폭력, 심지어 테러 조장 등 심각한 위험을 지적하기 시작했다. 챗봇이 허위 정보를 유포하고, 원치 않는 성적 접근을 시도하고, 약물 남용을 조장하고, 언어 폭력을 행사하는 데서 비롯되는 추가적인 우려도 제기되었다. 일부 정신과 의사들은 챗봇 사용과 취약한 개인의 정신병 발병 사이의 연관성을 점점 더 고려하고 있다.

제안된 규칙은 AI 개발의 중요한 영역, 즉 이러한 시스템이 사용자의 감정적 취약성을 악용할 가능성을 다룬다. 인간 상호 작용을 모방하도록 설계된 AI 챗봇은 사용자와 관계를 형성하고, 어떤 경우에는 부당한 영향력을 행사할 수 있다. 이러한 영향력이 억제되지 않으면 특히 정신 건강 문제로 어려움을 겪거나 조작에 취약한 개인에게 해로운 결과를 초래할 수 있다.

중국 사이버 공간 관리국은 제안된 규칙을 확정하기 위한 일정은 아직 발표하지 않았다. 이 규정은 공청회 및 추가 수정 과정을 거쳐 시행될 예정이다. 이번 개발은 점점 더 정교해지는 AI 기술의 윤리적, 사회적 영향에 대처하는 다른 국가들의 주목을 받을 것이다. 중국의 이번 조치는 정신 건강 및 안전과 관련하여 전 세계 정부가 AI 규제에 접근하는 방식에 선례를 남길 수 있다.