영국 통신 규제 기관인 Ofcom이 일론 머스크의 소셜 미디어 플랫폼 X(구 트위터)에서 X의 인공지능 챗봇인 Grok이 생성한 성적으로 노골적인 딥페이크 확산에 대한 우려가 제기됨에 따라 조사에 착수했습니다. 수요일에 발표된 이번 조사는 X가 온라인 안전법 위반으로 AI가 생성한 성적 콘텐츠, 특히 딥페이크의 생성 및 배포를 방지하기 위한 적절한 시스템을 갖추고 있는지에 초점을 맞추고 있습니다.

작년에 통과된 온라인 안전법은 소셜 미디어 플랫폼에 불법적이고 유해한 콘텐츠로부터 사용자를 보호해야 할 법적 의무를 부과합니다. Ofcom은 법 위반 시 회사 글로벌 매출의 최대 10%까지 벌금을 부과할 수 있습니다. 이는 새로운 법률에 따른 AI 생성 콘텐츠에 대한 최초의 주요 조사 중 하나입니다.

"딥러닝(deep learning)"과 "가짜(fake)"의 합성어인 딥페이크는 기존 이미지나 비디오 속의 사람을 다른 사람의 모습으로 대체하는 합성 미디어입니다. 정교한 AI 알고리즘으로 구동되는 이 기술은 비동의 포르노 제작 및 허위 정보 확산을 포함하여 오용 가능성에 대한 심각한 우려를 불러일으켰습니다. X의 AI 챗봇인 Grok은 사용자 프롬프트를 기반으로 텍스트와 이미지를 생성하도록 설계되었습니다. 사용자들이 Grok을 악용하여 개인의 현실적이고 성적으로 노골적인 딥페이크를 종종 그들의 지식이나 동의 없이 생성한다는 우려가 제기되었습니다.

Ofcom 대변인은 성명에서 "불법적이고 유해한 온라인 콘텐츠로부터 사용자를 보호하는 것이 최우선 과제입니다"라고 말했습니다. "우리는 X가 플랫폼에서 AI가 생성한 성적 딥페이크로 인한 위험을 해결하기 위해 충분한 조치를 취했는지 조사하고 있습니다. 이는 새롭고 빠르게 진화하는 영역이며 온라인 플랫폼이 안전 조치를 적절히 조정하고 있는지 확인해야 합니다."

X는 아직 Ofcom 조사에 대한 공식 성명을 발표하지 않았습니다. 그러나 일론 머스크는 이전에 플랫폼에서 AI 오용 방지에 대한 의지를 표명했습니다. 회사는 정책을 위반하는 AI 생성 콘텐츠를 탐지하고 제거하기 위한 몇 가지 조치를 시행했지만 비평가들은 이러한 조치가 불충분하다고 주장합니다.

이번 조사는 AI 생성 콘텐츠 규제와 이러한 기술의 오용 가능성에 대한 증가하는 과제를 강조합니다. 전문가들은 유해한 딥페이크의 생성 및 유포를 방지하기 위한 강력한 안전 장치와 윤리적 지침의 필요성을 강조합니다. 옥스퍼드 대학교의 AI 윤리 교수인 에밀리 카터 박사는 "이번 조사는 소셜 미디어 플랫폼이 사이트에 호스팅된 콘텐츠에 대해 책임을 지도록 하는 데 중요한 단계입니다"라고 말했습니다. "이는 기업이 AI 생성 콘텐츠와 관련된 위험을 사전에 해결하고 사용자들을 해로부터 보호해야 한다는 분명한 메시지를 전달합니다."

Ofcom 조사 결과는 X 및 AI를 활용하는 다른 소셜 미디어 플랫폼에 상당한 영향을 미칠 수 있습니다. 이는 AI 생성 콘텐츠에 대한 더 엄격한 규제와 감시 강화로 이어져 온라인 안전 및 콘텐츠 조정의 미래를 형성할 수 있습니다. Ofcom은 앞으로 몇 달 안에 조사 결과를 발표할 예정입니다. 이번 조사는 X의 콘텐츠 조정 정책, AI 탐지 기능 및 딥페이크 콘텐츠에 대한 사용자 보고에 대한 대응에 초점을 맞출 가능성이 높습니다.