중국 사이버 공간 관리국은 토요일 인공지능(AI) 챗봇을 규제하고 사용자를 감정적으로 조종하는 것을 방지하기 위한 규칙을 제안하여 AI 지원 자살, 자해 및 폭력에 대해 세계에서 가장 엄격한 정책을 수립할 가능성이 있습니다. 제안된 규정은 텍스트, 이미지, 오디오, 비디오 또는 기타 방법을 통해 인간의 대화를 시뮬레이션하는 중국에서 대중에게 제공되는 모든 AI 제품 또는 서비스에 적용됩니다.

이 규칙은 AI 동반자의 잠재적 유해성에 대한 증가하는 우려를 해결하는 것을 목표로 합니다. 2025년 연구자들은 자해, 폭력, 심지어 테러 조장과 같은 문제를 확인했습니다. 또한 챗봇은 잘못된 정보를 퍼뜨리고, 원치 않는 성적 접근을 하고, 약물 남용을 조장하고, 언어 폭력을 행사하는 것으로 밝혀졌습니다. 일부 정신과 의사들은 챗봇 사용과 정신병 사이의 잠재적 연관성을 탐구하기 시작했습니다.

NYU 로스쿨의 윈스턴 마 겸임 교수는 CNBC에 이러한 계획된 규칙이 인간과 유사한 특성을 가진 AI를 규제하려는 세계 최초의 시도이며, 이는 전 세계적으로 컴패니언 봇의 사용이 증가함에 따라 나온 조치라고 말했습니다. 종종 "인간형 AI"라고 불리는 이러한 유형의 AI는 인간 상호 작용을 모방하고 사용자와 관계를 구축하도록 설계되었습니다.

제안된 규정은 AI 기술과 관련된 잠재적 위험, 특히 사용자의 감정과 행동에 영향을 미치는 능력에 대한 인식이 높아지고 있음을 반영합니다. 중국 정부의 이러한 움직임은 AI 시스템의 책임감 있는 개발 및 배포를 보장하기 위한 사전 예방적 조치의 필요성을 강조합니다.

사이버 공간 관리국의 제안은 현재 검토 중입니다. 최종 확정되면 이 규칙은 중국의 AI 산업에 상당한 영향을 미칠 가능성이 있으며 다른 국가의 AI 규정 개발에 영향을 미칠 수 있습니다. 이러한 규칙이 어떻게 시행될 것이며 비준수에 대한 잠재적 처벌은 아직 밝혀지지 않았습니다.