캘리포니아 주 법무장관 롭 본타는 금요일 xAI에 딥페이크, 비동의, 사적인 이미지 및 아동 성 학대물(CSAM)의 제작 및 배포를 즉시 중단할 것을 요구하는 중단 명령서를 발송했습니다. 이번 조치는 캘리포니아 주 법무장관실이 xAI, 즉 일론 머스크의 인공지능 회사인 xAI의 챗봇 Grok이 여성과 미성년자의 비동의 성적 이미지를 생성하는 데 사용되고 있다는 보고에 대해 조사 중이라고 이번 주 초 발표한 데 따른 것입니다.

본타는 보도자료에서 "오늘 저는 xAI에 딥페이크, 비동의, 사적인 이미지 및 아동 성 학대물의 제작 및 배포를 즉시 중단할 것을 요구하는 중단 명령서를 발송했습니다. 이러한 자료의 제작은 불법입니다. 저는 xAI가 즉시 준수할 것이라고 확신합니다. 캘리포니아는 CSAM에 대해 무관용 원칙을 적용합니다."라고 밝혔습니다.

법무장관실은 또한 xAI가 대규모의 비동의 나체 사진 제작을 조장하는 것으로 보이며, 이는 온라인에서 여성과 소녀들을 괴롭히는 데 사용되고 있다고 주장했습니다. 법무장관실은 xAI가 이러한 문제를 해결하기 위해 취하고 있는 조치를 5일 이내에 입증할 것을 기대합니다.

논란의 중심에는 xAI가 AI로부터 더 필터링되지 않고 잠재적으로 자극적인 응답을 허용하기 위해 만든 Grok의 "매운맛 모드" 기능이 있습니다. 이 기능은 보다 매력적인 사용자 경험을 제공하기 위한 것이었지만, 유해하고 불법적인 콘텐츠 생성의 문을 연 것으로 보입니다.

딥페이크는 AI가 생성한 합성 미디어로, 개인이 결코 하지 않았거나 말하지 않았던 것을 설득력 있게 묘사할 수 있으며, 점점 더 큰 문제가 되고 있습니다. 이 기술은 특히 비동의 포르노를 제작하거나 허위 정보를 퍼뜨리는 데 사용될 때 심각한 윤리적, 법적 문제를 제기합니다. 이러한 이미지를 비교적 쉽게 제작하고 온라인에 배포할 수 있다는 점은 잠재적인 피해를 증폭시킵니다.

이번 조사와 후속 중단 명령은 빠르게 진화하는 AI 기술을 규제하는 데 따르는 어려움을 강조합니다. AI는 수많은 이점을 제공하지만 신중한 고려와 사전 예방적 조치를 통해 완화해야 할 위험도 제시합니다. 이 사건은 AI 개발자가 설계 및 배포 프로세스에서 안전과 윤리적 고려 사항을 우선시해야 할 필요성을 강조합니다.

xAI는 아직 중단 명령에 대해 공개적으로 응답하지 않았습니다. 이제 xAI는 캘리포니아 주 법무장관실에 자사 기술의 오용을 방지하고 비동의 딥페이크 이미지의 제작 및 배포로부터 개인을 보호하기 위해 구체적인 조치를 취하고 있음을 입증해야 하는 과제에 직면해 있습니다. 이 사건의 결과는 AI 기업이 기술 오용 가능성에 대해 책임을 지는 방식에 대한 선례를 세울 수 있습니다.