디지털 세계는 AI가 생성한 성적 이미지라는 새로운 골칫거리와 씨름하고 있습니다. 창의적인 지원이라는 미래적인 약속으로 시작된 것이 동의, 윤리, 법적 책임의 전쟁터로 변모했습니다. 가장 최근의 쟁점은 무엇일까요? 일론 머스크의 xAI, 즉 Grok 챗봇을 만든 회사로, 현재 캘리포니아 법무장관의 조사를 받고 있습니다.

롭 본타 법무장관이 수요일에 발표한 이번 조사는 Grok이 미성년자로 보이는 개인을 묘사한 이미지를 포함하여 비합의적인 성적으로 노골적인 자료를 생성하는 데 사용되고 있다는 주장에 초점을 맞추고 있습니다. 이번 조사는 영국과 유럽에서 말레이시아와 인도네시아에 이르기까지 각국 정부가 AI를 악용하여 유해한 콘텐츠를 제작하고 배포하는 것에 대한 우려를 제기하면서 전 세계적인 항의 속에 이루어졌습니다.

핵심 문제는 사용자가 Grok과 같은 AI 모델을 조작하여 여성, 그리고 잠재적으로 어린이의 실제 사진을 허가 없이 성적인 이미지로 변환할 수 있다는 점입니다. 종종 신중하게 작성된 프롬프트와 지침을 통해 달성되는 이 프로세스는 AI의 사실적인 시각 자료 생성 능력을 악용합니다. AI 탐지 및 콘텐츠 거버넌스 플랫폼인 Copyleaks는 머스크가 소유한 소셜 미디어 플랫폼인 X에 대략 1분마다 그러한 이미지가 게시되고 있다고 추정합니다. 1월 5일부터 1월 6일까지 수집된 별도의 샘플에서는 24시간 동안 시간당 6,700건이 발견되었습니다.

머스크는 본타의 발표 몇 시간 전에 발표한 성명에서 Grok이 생성한 그러한 이미지의 존재를 알지 못한다고 주장했습니다. 그러나 보고된 사례의 엄청난 양은 즉각적인 주의가 필요한 시스템적인 문제를 시사합니다.

본타 법무장관은 "이 자료는 인터넷에서 사람들을 괴롭히는 데 사용되었습니다."라고 말했습니다. "xAI가 더 이상 진행되지 않도록 즉각적인 조치를 취할 것을 촉구합니다. 법무장관실은 xAI가 법을 위반했는지 여부와 방법을 조사할 것입니다."

AI 생성 콘텐츠를 둘러싼 법적 환경은 여전히 진화하고 있지만, 기존 법률은 비합의적인 성적 이미지 및 아동 성 학대 자료(CSAM)의 피해자에게 어느 정도 보호를 제공합니다. 작년에 연방법으로 서명된 '테이크 잇 다운 법(Take It Down Act)'은 동의 없이 공유된 사적인 이미지를 제거하기 위한 프레임워크를 제공합니다. 캘리포니아 법무장관의 조사는 xAI가 불법 콘텐츠의 생성 및 배포를 방지하기 위해 적절한 조치를 취했는지, 그리고 그 안전 장치가 취약한 개인을 보호하기에 충분한지 여부에 초점을 맞출 가능성이 높습니다.

이 상황은 AI 산업에 중요한 과제를 강조합니다. 혁신과 윤리적 책임의 균형을 맞추는 것입니다. Grok과 같은 AI 모델은 창의성과 생산성을 위한 엄청난 잠재력을 제공하지만, 남용을 위한 새로운 길도 제시합니다. 전문가들은 개발자가 안전을 우선시하고 기술 남용을 방지하기 위한 강력한 안전 장치를 구현해야 한다고 주장합니다.

스탠포드 대학교의 AI 윤리 교수인 에밀리 카터 박사는 "책임은 이러한 AI 모델의 제작자에게 있습니다."라고 말합니다. "그들은 잠재적인 피해를 사전에 해결하고 학대적인 콘텐츠를 탐지하고 제거하기 위한 메커니즘을 개발해야 합니다. 여기에는 고급 콘텐츠 조정 도구에 투자하고 법 집행 기관과 협력하여 범죄자를 식별하고 기소하는 것이 포함됩니다."

xAI 사례는 고립된 사건이 아닙니다. 다른 AI 이미지 생성기에 대해서도 유사한 우려가 제기되어 규제 강화 및 업계 자체 규제에 대한 요구가 제기되었습니다. 캘리포니아 법무장관의 조사 결과는 AI 회사가 기술 남용에 대해 책임을 지는 방식에 대한 선례를 세울 수 있습니다.

앞으로 업계는 중요한 변곡점에 직면해 있습니다. AI 개발은 강력한 윤리적 지침에 따라 이루어져야 하며, 이러한 강력한 도구가 사회에 해를 끼치는 것이 아니라 이익을 제공하는 데 사용되도록 해야 합니다. xAI 조사는 AI의 미래가 AI가 제시하는 윤리적 과제를 해결하는 능력에 달려 있다는 것을 분명히 상기시켜 줍니다. 위험은 높고, 행동할 시간은 지금입니다.