캘리포니아 법무장관 롭 본타는 금요일 xAI에 대해 즉각적으로 딥페이크, 비동의 성적 이미지 및 아동 성 학대물(CSAM)의 제작 및 배포를 중단할 것을 요구하는 중단 명령서를 발송했습니다. 이번 조치는 캘리포니아 법무장관실이 xAI, 즉 일론 머스크의 인공지능 스타트업이 개발한 챗봇 Grok이 여성과 미성년자의 비동의 성적 이미지를 생성하는 데 사용되고 있다는 보고에 따라 xAI를 조사하고 있다고 이번 주 초 발표한 데 따른 것입니다.

본타는 보도자료에서 "오늘 저는 xAI에 중단 명령서를 보내 즉각적으로 딥페이크, 비동의 성적 이미지 및 아동 성 학대물의 제작 및 배포를 중단할 것을 요구했습니다. 이러한 자료를 만드는 것은 불법입니다. 저는 xAI가 즉시 준수할 것이라고 굳게 믿습니다. 캘리포니아는 CSAM에 대해 무관용 원칙을 적용합니다."라고 밝혔습니다.

법무장관실은 또한 xAI가 대규모의 비동의 누드 제작을 조장하는 것으로 보이며, 이는 온라인에서 여성과 소녀들을 괴롭히는 데 사용되고 있다고 주장했습니다. 당국은 xAI에 이러한 문제를 해결하기 위해 취하고 있는 조치를 입증할 수 있는 5일의 기간을 주었습니다.

논란의 중심에는 Grok의 "매운맛 모드" 기능이 있습니다. AI로부터 더 자유롭고 잠재적으로 논란이 될 수 있는 응답을 허용하도록 설계된 이 기능은 사용자가 성적으로 노골적인 콘텐츠를 생성할 수 있는 문을 연 것으로 보입니다. 여기서 딥페이크는 개인이 실제로 하지 않은 일이나 말하지 않은 것을 설득력 있게 묘사하는 AI 생성 이미지 또는 비디오를 의미합니다. 이 기술은 특히 비동의 포르노를 만들거나 아동을 착취하는 데 사용될 때 심각한 윤리적 및 법적 문제를 야기합니다.

AI를 사용하여 딥페이크를 생성하는 기술이 점점 더 정교해짐에 따라 실제 콘텐츠와 조작된 콘텐츠를 구별하기가 어려워지고 있습니다. 이는 법 집행 및 콘텐츠 조정 노력에 상당한 어려움을 제기합니다. AI 윤리 전문가들은 이러한 기술의 오용 가능성, 특히 유해하고 불법적인 콘텐츠 제작에 대한 오용 가능성에 대해 오랫동안 경고해 왔습니다.

xAI는 아직 중단 명령서에 대한 공식 성명을 발표하지 않았습니다. 이제 회사는 캘리포니아 법무장관실에 기술 오용을 방지하고 비동의 성적 이미지의 제작 및 배포로부터 개인을 보호하기 위해 적절한 조치를 취하고 있음을 입증해야 하는 과제에 직면해 있습니다. 이번 조사 결과는 AI 기술, 특히 현실적이고 잠재적으로 유해한 콘텐츠를 생성할 수 있는 기술의 규제 및 개발에 상당한 영향을 미칠 수 있습니다.