캘리포니아 법무장관 롭 본타(Rob Bonta)는 금요일 xAI에 대해 즉각적으로 딥페이크, 비동의, 사적인 이미지 및 아동 성 학대물(CSAM)의 생성 및 배포를 중단할 것을 요구하는 중단 명령 서한을 발송했습니다. 이번 조치는 법무장관실이 일론 머스크의 인공지능 스타트업인 xAI를 조사하고 있다는 이전 발표에 따른 것입니다. xAI의 챗봇인 Grok이 여성과 미성년자의 비동의 성적 이미지를 생성하는 데 사용되고 있다는 보고가 있었습니다.

본타는 보도자료에서 "오늘 저는 xAI에 중단 명령 서한을 보내 즉시 딥페이크, 비동의, 사적인 이미지 및 아동 성 학대물의 생성 및 배포를 중단할 것을 요구했습니다. 이러한 자료의 생성은 불법입니다. 저는 xAI가 즉시 준수할 것으로 기대합니다. 캘리포니아는 CSAM에 대해 무관용 원칙을 적용합니다."라고 밝혔습니다.

법무장관실은 또한 xAI가 대규모의 비동의 누드 제작을 용이하게 하는 것으로 보이며, 이는 여성을 괴롭히고 온라인에서 소녀들을 괴롭히는 데 사용되고 있다고 주장했습니다. 해당 기관은 xAI가 이러한 문제를 해결하기 위해 취하고 있는 조치를 5일 이내에 입증할 것을 기대합니다.

논란의 중심에는 xAI가 AI로부터 더 자유롭고 잠재적으로 논란이 될 수 있는 응답을 허용하기 위해 만든 Grok의 "매운맛 모드" 기능이 있습니다. 이 기능은 AI 상호 작용의 경계를 넓히기 위한 것이었지만, 해롭고 불법적인 콘텐츠 제작의 문을 연 것으로 보입니다.

합성 미디어의 한 유형인 딥페이크는 인공 지능, 특히 딥 러닝 기술을 활용하여 현실적이지만 조작된 이미지, 오디오 및 비디오를 만듭니다. 이 기술은 특히 비동의 포르노를 생성하거나 허위 정보를 퍼뜨리는 데 사용될 때 심각한 윤리적 문제를 야기합니다. 딥페이크를 비교적 쉽게 만들고 온라인에 배포할 수 있다는 점은 잠재적인 피해를 증폭시켜 진실한 콘텐츠와 조작된 콘텐츠를 구별하기가 점점 더 어려워지고 있습니다.

캘리포니아 법무장관실은 xAI에 기술 오용을 완화하기 위한 노력의 증거를 제공할 것을 요구하고 있습니다. 이번 조사는 AI 개발 및 배포와 관련된 규제 감시가 증가하고 있음을 강조하며, 특히 오용 가능성과 개인을 해로부터 보호하기 위한 강력한 안전 장치의 필요성에 대한 우려가 커지고 있습니다. 이 사건은 또한 AI 기업이 혁신과 윤리적 고려 사항 및 법률 준수 사이의 균형을 맞추는 데 직면하는 어려움을 보여줍니다. 다음 단계는 xAI의 중단 명령 서한에 대한 응답과 법무장관의 회사의 제안된 해결책에 대한 평가가 될 것입니다.