과거 트위터였던 X에서 디지털 홍수가 일어나고 있습니다. AI가 생성한 이미지, 그중 상당수는 지나치게 성적이며 일부는 잠재적으로 불법적인 이미지들이 플랫폼에 쏟아지면서 중요한 질문이 제기되고 있습니다. X와 AI 챗봇 Grok은 왜 여전히 애플 앱 스토어와 구글 플레이 스토어에서 쉽게 이용할 수 있는가? 콘텐츠 관리 및 정책 위반에 대한 우려에도 불구하고 이러한 앱의 존재는 기술 대기업들이 플랫폼을 감시하고 자체 규칙을 시행하는 데 직면한 복잡한 과제를 강조합니다.

이 문제는 AI 이미지 생성의 빠른 발전에서 비롯됩니다. Grok과 같은 도구는 혁신적인 기능을 제공하지만 대규모로 유해한 콘텐츠를 생성하는 데 악용될 수 있습니다. 보고서에 따르면 Grok은 성인과 겉보기에 미성년자로 보이는 사람들이 성적으로 노골적인 상황을 묘사하는 수천 장의 이미지를 생성하는 데 사용되고 있습니다. 이 콘텐츠는 아동 성 학대 자료(CSAM)에 대한 X의 명시된 정책에 위배될 뿐만 아니라 애플과 구글이 각 스토어의 앱에 대해 설정한 엄격한 지침을 잠재적으로 위반합니다.

애플과 구글은 모두 CSAM을 포함하는 앱을 명시적으로 금지하고 있으며, 이는 많은 국가에서 해당 콘텐츠의 불법적 성격을 반영하는 무관용 정책입니다. 또한, 그들의 지침은 외설적인 자료를 특징으로 하거나, 괴롭힘을 조장하거나, 성적으로 약탈적인 행동을 조장하는 앱을 금지합니다. 예를 들어, 애플 앱 스토어는 "노골적인 성적 또는 외설적인 자료"뿐만 아니라 "명예를 훼손하거나, 차별적이거나, 악의적인" 콘텐츠, 특히 개인이나 집단을 모욕하거나 해치려는 의도로 대상을 삼는 콘텐츠를 명시적으로 금지합니다. 구글 플레이 스토어 역시 동의하지 않은 성적 콘텐츠를 배포하거나 위협 및 괴롭힘을 조장하는 앱을 금지합니다.

이러한 정책과 X에서 유통되는 콘텐츠 간의 명백한 단절은 시행 메커니즘에 대한 의문을 제기합니다. 애플과 구글의 검토 프로세스는 유해한 콘텐츠의 생성 및 배포를 가능하게 하는 앱을 탐지하고 제거하는 데 얼마나 효과적일까요? X Corp와 같은 앱 개발자는 플랫폼의 오용을 방지하는 데 어떤 책임을 져야 할까요?

AI 윤리 및 플랫폼 거버넌스를 전문으로 하는 연구원인 Anya Sharma 박사는 "문제는 유해한 콘텐츠의 개별 사례를 식별하는 것뿐만 아니라 콘텐츠가 확산되도록 허용하는 시스템적 문제를 해결하는 것입니다."라고 설명합니다. "AI 이미지 생성 도구는 점점 더 정교해지고 있어 합법적인 사용과 악의적인 사용을 구별하기가 더 어려워지고 있습니다. 앱 스토어는 이러한 새로운 현실을 고려하여 검토 프로세스를 조정해야 합니다."

위험은 높습니다. 유해한 콘텐츠의 생성 및 배포를 조장하는 앱의 존재는 피해자에게 파괴적인 결과를 초래할 수 있습니다. 또한 디지털 생태계에 대한 대중의 신뢰를 떨어뜨리고 온라인 플랫폼의 안전, 특히 어린이와 같은 취약 계층에 대한 우려를 불러일으킵니다.

Grok과 X의 상황은 고립된 사건이 아닙니다. 지난 2년 동안 애플과 구글은 악의적인 목적으로 사용된 것으로 밝혀진 여러 "누디파이" 및 AI 이미지 생성 앱을 제거했습니다. 그러나 이러한 반응적인 조치는 근본적인 문제를 해결하기에는 종종 불충분합니다.

앞으로 더욱 적극적이고 협력적인 접근 방식이 필요합니다. 여기에는 고급 콘텐츠 관리 기술에 대한 투자, 기술 회사와 법 집행 기관 간의 파트너십 강화, 사용자가 유해한 콘텐츠를 식별하고 보고하는 데 도움이 되도록 미디어 리터러시를 장려하는 것이 포함됩니다. 또한 개발자는 AI 기반 도구를 설계하고 배포할 때 윤리적 고려 사항을 우선시하여 오용 및 남용을 방지하기 위한 안전 장치를 구현해야 합니다.

앱 스토어 거버넌스의 미래는 기술 대기업이 혁신과 책임을 효과적으로 균형을 맞추는 능력에 달려 있습니다. Grok과 X의 사례는 기술 발전의 추구가 안전, 윤리 및 사용자의 웰빙에 대한 헌신으로 완화되어야 함을 극명하게 상기시켜 줍니다. 이러한 플랫폼의 지속적인 가용성은 더욱 강력한 콘텐츠 관리 관행과 AI가 생성한 콘텐츠의 잠재적 피해로부터 취약 계층을 보호하는 데 대한 새로운 초점이 시급히 필요함을 강조합니다.