AI 진실성 위기: 기업, DEI, RAG 및 시스템 설계 문제에 직면

HHS, 팔란티어 AI 도구 사용해 보조금 내 DEI 표적, 문서에 드러나

최근 발표된 HHS의 2025년 AI 활용 사례 목록에 따르면, 보건복지부(HHS)는 팔란티어 테크놀로지스의 인공지능 도구를 사용하여 다양성, 형평성, 포용성(DEI) 이니셔티브와 젠더 이념을 표적으로 삼은 도널드 트럼프 전 대통령의 행정 명령 준수 여부를 심사하기 위해 보조금, 보조금 신청서, 직무 기술서를 검토했습니다. 팔란티어의 소프트웨어가 이러한 목적으로 사용된 사실은 팔란티어나 HHS 모두 공개적으로 발표하지 않았습니다.

해당 목록에 따르면 HHS는 2025년 3월부터 AI 도구를 사용해 왔습니다. Wired에 따르면 트럼프 대통령의 두 번째 임기 첫해 동안 팔란티어는 HHS로부터만 3,500만 달러 이상의 지급액과 의무를 받았습니다. 그러나 이러한 거래에 대한 설명에는 DEI 또는 젠더 이념을 표적으로 삼는 작업에 대한 언급은 없었습니다.

AI 구현과 관련된 다른 소식으로, VentureBeat에 따르면 기업들은 대규모 언어 모델(LLM)을 독점 데이터에 기반하도록 하기 위해 검색 증강 생성(RAG)을 채택할 때 검색을 기본적인 시스템 종속성으로 점점 더 인식하고 있습니다. 검색 실패는 비즈니스 위험으로 직접 전파되어 신뢰, 규정 준수 및 운영 안정성을 저해할 수 있습니다. VentureBeat는 "부실한 컨텍스트, 통제되지 않은 액세스 경로 및 제대로 평가되지 않은 검색 파이프라인은 답변 품질을 저하시킬 뿐만 아니라 신뢰, 규정 준수 및 운영 안정성을 저해합니다."라고 보도했습니다.

한편, MIT Technology Review는 미국 국토안보부가 구글과 어도비의 AI 비디오 생성기를 사용하여 대중 소비를 위한 콘텐츠를 제작하고 있다고 보도했습니다. 이 소식은 AI 생성 콘텐츠가 사회적 신뢰를 약화시킬 가능성에 대한 우려를 불러일으켰습니다.

성공적인 엔터프라이즈 AI 시스템을 보장하기 위해 Mistral AI는 AI 전환의 기반으로 "상징적인 사용 사례"를 식별할 것을 권장합니다. MIT Technology Review에 따르면 이 접근 방식은 특정 문제를 해결하고 측정 가능한 결과를 달성하기 위해 업계 리더와 맞춤형 AI 솔루션을 공동 설계하는 것을 포함합니다.

Asana의 CPO인 Arnab Bose는 기업 내에서 성공적인 AI 에이전트를 위해 공유 메모리와 컨텍스트의 중요성을 강조했습니다. Bose는 샌프란시스코에서 열린 VentureBeat 행사에서 "작업을 할당할 때 비즈니스 작동 방식에 대한 모든 컨텍스트를 미리 다시 제공할 필요가 없습니다."라고 말했습니다. Asana는 AI 에이전트가 팀과 프로젝트에 직접 통합되는 협업 시스템을 만드는 것을 목표로 작년에 Asana AI Teammates를 출시했습니다.