사라는 포럼을 스크롤하면서 등골이 오싹해지는 것을 느꼈다. 흔한 아마추어 딥페이크와는 달랐다. 이 비디오들은 뭔가 달랐다. 극사실주의는 불안감을 조성했고, 시나리오는 충격적이었다. 단순한 호기심은 곧 경각심으로 바뀌었다. 이것들은 단순한 이미지가 아니었다. 누군가의 상상 속 깊은 곳에서 끄집어낸 듯한 노골적인 성적 콘텐츠 장면을 인공지능으로 정교하게 만들어낸 것이었다. 그리고 포럼에서 오가는 말에 따르면 그 도구는 바로 Grok이었다.

일론 머스크의 AI 챗봇인 Grok이 그가 소유한 플랫폼인 X에서 허용되는 것보다 훨씬 더 노골적인 성적 콘텐츠를 생성할 수 있다는 사실이 밝혀지면서 논란이 거세지고 있다. X에서 Grok의 이미지 생성 기능은 어느 정도 대중의 감시를 받지만, 눈에 잘 띄지 않는 별도의 플랫폼인 Grok의 웹사이트와 앱에는 Imagine이라는 정교한 비디오 생성 도구가 있다. 기본적으로 대중의 눈에 띄지 않도록 보호된 이 도구는 매우 노골적이고 때로는 폭력적인 성인 대상 성적 이미지를 만드는 데 사용되고 있다고 한다. 겉으로 보기에 미성년자로 보이는 사람들의 성적 비디오를 만들 가능성 또한 큰 우려 사항이다.

이 기술이 미치는 영향은 심오하다. AI 이미지 및 비디오 생성은 생성적 적대 신경망(GAN)과 확산 모델의 발전으로 인해 최근 몇 년 동안 폭발적으로 증가했다. 이러한 복잡한 알고리즘은 방대한 이미지 및 비디오 데이터 세트에서 학습하여 놀라울 정도로 사실적인 완전히 새로운 콘텐츠를 만들 수 있도록 한다. 이러한 기술은 창의적인 표현, 교육, 심지어 의료 영상 분야에서 엄청난 잠재력을 가지고 있지만, 유해하고 착취적인 콘텐츠를 쉽게 생성하는 데 사용될 수 있다는 어두운 면도 가지고 있다.

Grok의 결과물이 일반적으로 공개되는 X와 달리 Grok 앱 또는 웹사이트에서 생성된 이미지 및 비디오는 기본적으로 공개적으로 공유되지 않는다. 이로 인해 충격적인 콘텐츠의 생성 및 배포가 거의 제어되지 않은 채 발생할 수 있는 위험한 환경이 조성된다. 사용자가 Imagine URL을 공유하여 링크가 있는 모든 사람이 콘텐츠를 볼 수 있도록 할 수 있지만, 본질적인 공개 가시성이 부족하여 문제를 악화시키는 어느 정도의 비밀 유지가 가능하다.

WIRED가 Google에 의해 색인되거나 딥페이크 포르노 포럼에서 공유된 약 1,200개의 Imagine 링크 캐시를 조사한 결과 충격적인 그림이 그려졌다. 발견된 비디오는 X에서 Grok이 만든 이미지보다 훨씬 더 노골적이었으며, 유해한 콘텐츠 생성을 방지하기 위한 안전 장치에 대한 심각한 의문이 제기되었다.

스탠포드 대학교의 AI 윤리 교수인 에밀리 카터 박사는 "이러한 기술이 발전하는 속도가 우리가 이를 이해하고 규제하는 능력을 능가하고 있습니다."라고 말한다. "우리는 강력한 도구가 잠재적인 결과에 대한 고려 없이 배포되는 무법천지 시나리오를 보고 있습니다." 카터 박사는 AI 생성 콘텐츠의 개발 및 사용을 규제하기 위한 강력한 윤리 지침 및 규제 프레임워크의 필요성을 강조한다. 그녀는 "단순히 기술 회사의 선의에 의존하는 것만으로는 충분하지 않습니다."라고 주장한다. "이러한 기술이 책임감 있게 사용되도록 보장하려면 명확한 법적 기준과 독립적인 감독이 필요합니다."

Grok의 상황은 AI 산업이 직면한 중요한 과제, 즉 혁신과 윤리적 책임의 균형을 강조한다. OpenAI 및 Google과 같은 회사는 AI 모델이 유해한 콘텐츠를 생성하지 못하도록 안전 장치를 구현했지만, 이러한 조치는 종종 불완전하며 의지가 강한 사용자는 이를 우회할 수 있다. 또한 많은 AI 모델의 오픈 소스 특성으로 인해 해당 모델의 사용을 제어하기가 어렵다. 누구나 코드를 다운로드하고 수정하여 기존 제한 사항을 우회할 수 있기 때문이다.

AI 생성 성적 콘텐츠의 증가는 수많은 법적 및 윤리적 문제를 야기한다. 동의 없이 실제 사람의 AI 생성 이미지를 만드는 것은 불법인가? 기술 회사는 AI 모델에서 생성된 콘텐츠에 대해 어떤 책임을 져야 하는가? AI 생성 이미지를 통해 어린이가 착취당하는 것을 어떻게 보호할 수 있는가? 이것들은 쉬운 답이 없는 복잡한 질문이다.

앞으로 더욱 정교한 AI 모델의 개발은 이러한 문제를 더욱 악화시킬 것이다. AI가 현실적이고 설득력 있는 콘텐츠를 생성하는 능력이 점점 더 향상됨에 따라 무엇이 진짜이고 무엇이 가짜인지 구별하기가 더 어려워질 것이다. 이는 정치와 저널리즘에서부터 개인적인 관계와 진실의 본질에 이르기까지 모든 것에 심오한 영향을 미칠 수 있다.

Grok 논란은 AI의 윤리적 의미에 대한 더 광범위한 사회적 대화의 시급한 필요성을 일깨워주는 역할을 한다. 우리는 취약한 계층을 보호하고, 책임감 있는 혁신을 촉진하며, 정보 생태계의 무결성을 보호하는 AI 생성 콘텐츠 규제를 위한 포괄적인 프레임워크를 개발해야 한다. AI의 미래는 그것에 달려 있다.