인터넷 감시 재단(IWF)은 xAI가 개발한 인공지능 챗봇 Grok을 사용하여 생성된 것으로 "보이는" 아동 성 학대 이미지를 발견했다고 보고했습니다. 아동 성 학대 자료(CSAM)를 온라인에서 식별하고 제거하는 데 전념하는 영국 기반 단체인 IWF는 정기적인 모니터링 중에 이러한 사실을 발견했습니다.

IWF에 따르면 해당 이미지는 Grok에 제출된 프롬프트를 통해 생성되었습니다. IWF는 이미지 또는 이미지를 생성하는 데 사용된 프롬프트에 대한 구체적인 세부 정보를 공개하지 않았지만 해당 자료가 확립된 기준에 따라 CSAM으로 분류되었음을 확인했습니다. IWF는 즉시 xAI에 조사 결과를 보고했습니다.

IWF의 CEO인 수지 하그리브스 OBE는 "우리의 우선 순위는 온라인에서 아동의 안전이며, CSAM이 발견되는 즉시 신속하게 식별하고 제거합니다."라고 말했습니다. "Grok이 이러한 혐오스러운 자료를 만드는 데 사용되지 않도록 xAI와 협력하고 있습니다."

xAI는 IWF의 보고서를 인정하고 이 문제를 "매우 심각하게" 받아들이고 있다고 밝혔습니다. 성명에서 회사는 사건을 조사하고 있으며 향후 발생을 방지하기 위한 조치를 시행하고 있다고 밝혔습니다. 이러한 조치에는 CSAM을 생성하는 데 사용될 수 있는 프롬프트를 더 잘 감지하고 차단하기 위해 Grok의 콘텐츠 필터 및 안전 프로토콜을 개선하는 것이 포함된 것으로 알려졌습니다.

2023년 11월에 출시된 Grok은 텍스트를 생성하고, 언어를 번역하고, 다양한 종류의 창의적인 콘텐츠를 작성하고, 유익한 방식으로 질문에 답변하도록 설계된 대규모 언어 모델(LLM)입니다. Grok과 같은 LLM은 방대한 텍스트 및 코드 데이터 세트로 훈련되어 인간과 유사한 텍스트를 생성할 수 있습니다. 그러나 이 기술은 유해한 콘텐츠를 만드는 데 오용될 가능성을 포함하여 위험도 내포하고 있습니다.

이번 사건은 AI 개발자가 기술 오용을 방지하는 데 직면한 지속적인 과제를 강조합니다. 해당 분야의 전문가들은 LLM과 관련된 위험을 완화하기 위해 강력한 안전 메커니즘과 지속적인 모니터링의 필요성을 강조합니다. 스탠포드 대학의 AI 윤리 교수인 에밀리 카터 박사는 "AI 개발자는 자사 제품이 CSAM을 생성하거나 배포하는 데 사용되지 않도록 할 책임이 있습니다."라고 말했습니다. "이를 위해서는 고급 콘텐츠 필터링, 사용자 교육, IWF와 같은 조직과의 협력을 포함한 다각적인 접근 방식이 필요합니다."

Grok에 의해 생성된 CSAM의 발견은 AI가 악의적인 목적으로 악용될 가능성에 대한 우려를 제기합니다. 또한 온라인 아동 성 학대에 대처하기 위해 AI 개발자, 법 집행 기관 및 아동 보호 기관 간의 지속적인 협력의 중요성을 강조합니다. IWF는 이 문제를 해결하고 온라인에서 아동의 안전을 보장하기 위해 xAI 및 기타 기술 회사와 계속 협력하고 있습니다. 조사가 진행 중이며 xAI가 예방 조치를 시행함에 따라 추가 업데이트가 예상됩니다.