정부 관계자들이 일론 머스크의 소셜 미디어 플랫폼 X에 대해, 해당 플랫폼의 인공지능 챗봇인 Grok이 생성한 "끔찍한" 딥페이크의 확산 문제를 해결할 것을 요구하고 있다. 이러한 요구는 X에서 유통되는 매우 현실적이고 종종 악의적인 AI 생성 콘텐츠가 급증하면서 허위 정보 및 개인과 기관에 대한 잠재적 피해에 대한 우려가 제기된 데 따른 것이다.

핵심 쟁점은 Grok의 설득력 있는 텍스트, 이미지, 심지어 오디오까지 생성하는 능력으로, 이는 개인을 사칭하거나, 허위 정보를 퍼뜨리거나, 여론을 조작하는 데 사용될 수 있다. 이러한 맥락에서 딥페이크는 고급 머신 러닝 기술, 특히 생성적 적대 신경망(GAN)을 활용하여 진본 콘텐츠와 구별하기 어려운 합성 미디어를 생성한다. GAN은 서로 경쟁하는 생성자와 판별자라는 두 개의 신경망으로 구성된다. 생성자는 가짜 콘텐츠를 생성하고, 판별자는 이를 가짜로 식별하려고 시도한다. 이러한 반복적인 과정을 통해 생성자는 점점 더 현실적인 위조물을 생성하는 데 능숙해진다.

정부 감독 위원회의 대변인은 익명을 전제로 "Grok이 생성한 딥페이크의 정교함 수준은 매우 우려스럽습니다."라고 말했다. "이것은 단순한 조작이 아니라 심각한 결과를 초래할 수 있는 매우 설득력 있는 날조입니다."

ChatGPT 및 Google의 Gemini와 같은 다른 AI 챗봇의 경쟁자로 자리매김한 X의 Grok AI는 사용자에게 정보를 제공하고, 창의적인 콘텐츠를 생성하고, 대화에 참여하도록 설계되었다. 그러나 그 기능은 기만적인 콘텐츠를 생성하는 데 빠르게 악용되었다. 제품 세부 정보에 따르면 Grok은 방대한 텍스트 및 코드 데이터 세트로 훈련되어 인간 수준의 텍스트를 생성하고 다양한 글쓰기 스타일을 모방할 수도 있다. 이 강력한 기술은 잠재적인 이점을 제공하는 동시에 제대로 관리되지 않으면 상당한 위험을 초래한다.

업계 분석가들은 이번 사건이 기술 혁신과 책임감 있는 AI 개발의 필요성 사이의 긴장이 고조되고 있음을 강조한다고 지적한다. 기술사회연구소의 선임 AI 윤리 연구원인 아냐 샤르마 박사는 "AI의 급속한 발전은 잠재적인 오용을 규제하고 통제하는 우리의 능력을 능가하고 있습니다."라며 "X와 같은 플랫폼은 AI 도구가 무기화되는 것을 방지하기 위해 강력한 안전 장치를 구현할 책임이 있습니다."라고 말했다.

X는 AI 생성 딥페이크에 대한 탐지 및 제거 기능을 개선하기 위해 적극적으로 노력하고 있다고 밝히며 정부의 요구에 응답했다. 회사는 콘텐츠 조정 정책을 강화하고, AI 기반 탐지 도구에 투자하고, 딥페이크 퇴치를 위한 모범 사례를 개발하기 위해 업계 전문가와 협력할 계획을 밝혔다. 그러나 비평가들은 이러한 조치가 불충분하며 X가 유해한 AI 생성 콘텐츠의 생성 및 유포를 사전에 방지하기 위해 보다 적극적인 접근 방식을 취해야 한다고 주장한다.

현재 상황은 정부 관계자와 X 대표 간의 논의가 진행 중이다. 정부는 X가 이 문제를 적절히 해결하지 못할 경우 잠재적인 규제 조치를 고려하고 있다. 향후 개발에는 AI 기반 플랫폼에 대한 감시 강화와 AI 기술 개발 및 배포의 투명성 및 책임성 강화 노력이 포함될 가능성이 높다. 이번 사건은 딥페이크로 인한 어려움과 잠재적 피해를 완화하기 위한 효과적인 해결책의 시급한 필요성을 상기시켜준다.