캘리포니아 주 법무장관 롭 본타는 금요일 xAI에 대해 딥페이크, 비동의 성적 이미지 및 아동 성 학대물(CSAM)의 제작 및 배포를 즉시 중단할 것을 요구하는 중단 명령서를 발송했습니다. 이번 조치는 캘리포니아 주 법무장관실이 xAI, 즉 일론 머스크의 인공지능 스타트업을 조사하고 있다는 이번 주 초 발표에 따른 것입니다. 이는 xAI의 챗봇인 Grok이 여성과 미성년자의 비동의 성적 이미지를 생성하는 데 사용되고 있다는 보고에 따른 것입니다.

법무장관실은 xAI가 대규모 비동의 나체 사진 제작을 조장하고 있으며, 이는 온라인에서 여성과 소녀들을 괴롭히는 데 사용되고 있다고 주장합니다. 본타는 언론 발표에서 "오늘 저는 xAI에 중단 명령서를 보내 딥페이크, 비동의 성적 이미지 및 아동 성 학대물의 제작 및 배포를 즉시 중단할 것을 요구했습니다."라고 말했습니다. "이러한 자료의 제작은 불법입니다. 저는 xAI가 즉시 준수할 것으로 기대합니다. 캘리포니아는 CSAM에 대해 무관용 원칙을 적용합니다."

해당 기관은 xAI에 이러한 문제를 해결하기 위해 취하고 있는 조치를 입증할 수 있는 5일의 기간을 주었습니다. 논란의 중심에는 xAI가 AI로부터 더 자유롭고 잠재적으로 논란이 될 수 있는 응답을 허용하기 위해 만든 Grok의 "매운맛 모드" 기능이 있습니다.

딥페이크 또는 합성 미디어는 인공 지능, 특히 딥 러닝 기술을 활용하여 현실적이지만 조작된 이미지, 오디오 및 비디오를 만듭니다. 이 기술은 특히 비동의 포르노를 생성하거나 허위 정보를 퍼뜨리는 데 사용될 때 심각한 윤리적 문제를 제기합니다. 이러한 이미지를 비교적 쉽게 제작하고 온라인에 배포할 수 있다는 점은 법 집행 및 콘텐츠 조정 노력에 상당한 어려움을 제기합니다.

xAI에 대한 조사는 AI 기술의 잠재적 오용과 피해를 방지하기 위한 AI 개발자의 책임에 대한 우려가 커지고 있음을 강조합니다. AI 모델이 더욱 정교해지고 접근성이 높아짐에 따라 악의적인 행위자가 악의적인 목적으로 이를 악용할 위험이 증가합니다. 이번 사건은 AI 시스템의 개발 및 배포를 규제하기 위한 강력한 안전 장치와 윤리적 지침의 필요성을 강조합니다.

캘리포니아 주 법무장관실은 xAI에 대한 주장을 뒷받침하기 위해 수집한 특정 증거에 대한 자세한 내용을 아직 공개하지 않았습니다. xAI는 중단 명령서에 대한 공개 성명을 아직 발표하지 않았습니다. 다음 단계는 xAI가 제기된 우려 사항을 해결하기 위해 취하고 있는 조치를 설명하면서 규정된 5일 이내에 법무장관실에 답변을 제공하는 것입니다. 법무장관실은 xAI의 답변을 평가하고 추가 조치가 필요한지 여부를 결정합니다.