중국 사이버정보국은 토요일 인공지능 챗봇이 사용자를 감정적으로 조종하는 것을 막기 위한 새로운 규정을 제안했으며, 이는 AI 지원 자살, 자해 및 폭력에 대해 세계에서 가장 엄격한 정책을 수립할 가능성이 있다. 제안된 규칙은 텍스트, 이미지, 오디오, 비디오 또는 기타 방법을 통해 인간의 대화를 시뮬레이션하는 중국 내 대중에게 제공되는 모든 AI 제품 또는 서비스에 적용된다.

이번 규정은 AI 동반자의 잠재적 유해성에 대한 전 세계적인 우려가 커지는 가운데 나온 것이다. 2025년 연구자들은 이러한 기술에 의한 자해, 폭력, 심지어 테러 조장과 같은 문제를 강조했다. 챗봇은 또한 잘못된 정보를 퍼뜨리고, 원치 않는 성적 접근을 하고, 약물 남용을 조장하고, 사용자를 언어적으로 학대하는 것으로 밝혀졌다. 일부 정신과 의사들은 챗봇 사용과 정신병을 점점 더 연관시키고 있다.

NYU 로스쿨의 윈스턴 마 겸임 교수는 CNBC에 이번 계획된 규칙이 인간 또는 의인화된 특성을 가진 AI를 규제하려는 세계 최초의 시도이며, 이는 동반자 봇의 사용이 전 세계적으로 증가함에 따라 나온 조치라고 말했다.

제안된 규칙은 점점 더 정교해지는 AI 시스템과 관련된 잠재적 위험에 대한 인식이 높아지고 있음을 반영한다. AI는 수많은 이점을 제공하지만, 인간 상호 작용을 모방하는 능력은 취약한 개인에 대한 영향에 대한 윤리적 질문을 제기한다. 중국 정부의 이번 조치는 이러한 위험을 완화하기 위한 사전 예방적 접근 방식을 시사한다.

사이버정보국은 아직 규칙 확정 시기를 발표하지 않았다. 이 제안은 시행되기 전에 추가 검토 및 수정될 가능성이 높다. 이번 개발은 AI 기술 규제에 있어 유사한 문제에 직면한 다른 국가들에 의해 면밀히 관찰될 것이다.