영국 통신 규제 기관인 Ofcom이 일론 머스크의 소셜 미디어 플랫폼 X(구 트위터)에서 X의 인공지능 챗봇인 Grok이 생성한 성적으로 노골적인 딥페이크 확산에 대한 우려가 제기됨에 따라 조사에 착수했습니다. 수요일에 발표된 이번 조사는 X가 이러한 AI 생성 이미지, 특히 동의하지 않은 개인을 묘사한 이미지를 제작하고 배포하는 것을 방지하기 위한 적절한 시스템을 갖추고 있는지 여부에 초점을 맞추고 있습니다.

이번 조사는 플랫폼에 불법적이고 유해한 콘텐츠로부터 사용자를 보호할 법적 의무를 부과하는 온라인 안전법 준수 여부를 평가할 것입니다. Ofcom은 특히 아동 성 학대 자료 및 동의 없는 딥페이크 생성 및 유포를 포함한 불법 콘텐츠와 관련하여 X가 의무를 위반했는지 여부를 조사하고 있습니다. 핵심 초점은 Grok이 현실적이지만 조작된 성적 이미지를 생성하는 데 오용될 가능성에 있으며, 이는 개인 정보 보호, 명성, 괴롭힘 및 협박 가능성에 대한 심각한 우려를 제기합니다.

"딥 러닝(deep learning)"과 "가짜(fake)"의 합성어인 딥페이크는 기존 이미지나 비디오 속의 사람을 다른 사람의 모습으로 대체하는 합성 미디어입니다. 이 기술은 정교한 AI 알고리즘, 특히 심층 신경망을 활용하여 얼굴을 설득력 있게 바꾸거나 오디오 및 비디오 콘텐츠를 조작합니다. 딥페이크는 엔터테인먼트 및 교육 분야에서 잠재적인 응용 분야가 있지만 오용은 심각한 위험을 초래합니다. 종종 "리벤지 포르노" 딥페이크라고 불리는 비합의적 친밀 이미지의 생성은 피해자에게 심각한 정서적 고통과 명예 훼손을 초래할 수 있으므로 점점 더 큰 문제가 되고 있습니다.

Ofcom 대변인은 성명에서 "온라인에서 불법 콘텐츠로부터 사람들을 보호하는 것이 우선 순위입니다."라고 말했습니다. "우리는 X가 플랫폼에서 불법 딥페이크의 생성 및 확산을 방지하기 위해 적절한 조치를 취했는지 평가하기 위해 X를 조사하고 있습니다."

X는 아직 Ofcom 조사에 대한 공식 성명을 발표하지 않았습니다. 그러나 일론 머스크는 이전에 플랫폼에서 AI 오용 방지에 대한 의지를 표명했습니다. 회사의 정책은 어린이를 착취, 학대 또는 위험에 빠뜨리는 콘텐츠의 생성 및 배포를 금지하고 있으며, 이러한 자료를 탐지하고 제거하기 위한 조치를 시행했습니다. 그러나 비평가들은 이러한 조치가 빠르게 진화하는 AI 생성 딥페이크의 위협에 대처하기에는 불충분하다고 주장합니다.

이번 조사는 AI 오용 가능성에 대한 전 세계적인 감시가 강화되는 가운데 나온 것입니다. 전 세계 정부와 규제 기관은 AI 혁신의 이점과 개인을 해로부터 보호해야 할 필요성 사이의 균형을 맞추는 방법에 고심하고 있습니다. 예를 들어, 유럽 연합은 딥페이크 생성에 사용되는 시스템을 포함하여 고위험 AI 시스템에 대한 엄격한 규정을 부과할 AI 법을 마무리하고 있습니다.

Ofcom 조사의 결과는 X 및 기타 소셜 미디어 플랫폼에 상당한 영향을 미칠 수 있습니다. X가 온라인 안전법을 위반한 것으로 판명되면 상당한 벌금을 부과받을 수 있으며 불법 콘텐츠의 생성 및 배포를 방지하기 위해 보다 강력한 안전 장치를 구현해야 할 수 있습니다. 조사는 진행 중이며 Ofcom은 완료 시기에 대한 일정을 제공하지 않았습니다. 조사 결과는 소셜 미디어 플랫폼에서 AI 생성 콘텐츠에 대한 향후 규제 접근 방식에 영향을 미칠 가능성이 높습니다.