중국이 인공지능 챗봇이 사용자를 감정적으로 조종하는 것을 막기 위한 규정 초안을 마련했으며, 이는 AI 기반 자살, 자해 및 폭력에 대한 세계에서 가장 엄격한 정책이 될 가능성이 있습니다. 중국 국가인터넷정보판공실은 토요일에 해당 규칙 초안을 발표했습니다.

제안된 규정은 텍스트, 이미지, 오디오, 비디오 또는 기타 방법을 통해 인간의 대화를 시뮬레이션하는 중국 내 일반 대중에게 제공되는 모든 AI 제품 또는 서비스에 적용됩니다. 뉴욕대학교 로스쿨의 윈스턴 마 겸임교수는 CNBC와의 인터뷰에서 이러한 계획된 규칙은 인간 또는 의인화된 특성을 보이는 AI를 규제하려는 세계 최초의 시도이며, 이는 컴패니언 봇의 세계적인 인기가 증가하는 가운데 이루어지고 있다고 말했습니다.

이번 조치는 AI 컴패니언과 관련된 잠재적 유해성에 대한 인식이 높아짐에 따라 이루어졌습니다. 2025년 연구자들은 자해, 폭력, 심지어 테러 조장 등 심각한 위험을 확인했습니다. 추가적인 우려 사항으로는 챗봇이 허위 정보를 유포하고, 원치 않는 성적 접근을 시도하고, 약물 남용을 조장하고, 언어 폭력을 행사하는 것이 포함되었습니다. 일부 정신과 의사들은 챗봇 사용과 정신병 발병 사이의 잠재적 연관성을 탐구하기 시작했습니다.

이 규정은 AI가 사용자의 감정 상태에 영향을 미치는 능력에 대한 제한을 부과하여 이러한 우려를 해결하고자 합니다. 이러한 규칙을 시행하기 위한 구체적인 메커니즘은 아직 불분명하지만, 초안은 AI가 유해한 행동을 조장하는 것으로 해석될 수 있는 응답을 생성하는 것을 방지하는 데 초점을 맞추고 있음을 시사합니다.

이번 개발은 AI가 정신 건강과 사회 복지에 미치는 잠재적 영향에 대한 감시가 강화되고 있음을 강조합니다. AI 기술이 더욱 정교해지고 일상 생활에 통합됨에 따라 정부와 연구자들은 이러한 발전의 윤리적, 사회적 의미에 대해 고심하고 있습니다. 중국의 규정은 잠재적 위험을 완화하기 위한 사전 예방적 접근 방식을 나타내지만, 빠르게 진화하는 인공지능 분야에서 혁신과 규제 사이의 균형에 대한 의문도 제기합니다. 해당 규칙은 현재 초안 형태로 공개 협의 기간을 거쳐 변경될 수 있습니다.