AI 에이전트, 보안 해킹, Galaxy 부드러워지고, RAG 시스템 실패!

최근 보고서에서 강조된 AI 발전과 보안 문제

최근 보고서들은 코딩 에이전트부터 복잡한 문서 처리의 어려움에 이르기까지 인공지능의 발전에 대해 조명하는 동시에 심각한 보안 문제도 제기했습니다. 여러 소식통에 따르면, 특히 에이전트 AI와 같은 AI 도구의 급속한 개발 및 배포로 인해 기존 보안 모델의 취약성이 드러났습니다.

주요 관심사 중 하나는 검색 증강 생성(RAG) 시스템의 효율성입니다. VentureBeat에 따르면 많은 기업들이 PDF를 색인하고 이를 대규모 언어 모델(LLM)에 연결하여 기업 지식을 민주화한다는 약속으로 RAG 시스템을 배포했습니다. 그러나 이러한 시스템은 특히 중공업에 의존하는 산업에서 종종 기대에 미치지 못합니다. VentureBeat는 "실패는 LLM에 있는 것이 아니라 전처리 과정에 있다"고 보도하며, 표준 RAG 파이프라인은 문서를 평면적인 텍스트 문자열로 취급하고 고정 크기 청킹을 사용하여 테이블을 자르고 이미지에서 캡션을 분리하여 기술 매뉴얼의 논리를 파괴할 수 있다고 지적했습니다.

한편, 에이전트 AI의 부상은 새로운 보안 위험을 야기했습니다. 오픈 소스 AI 비서인 OpenClaw는 상당한 인기를 얻어 VentureBeat에 따르면 제작자인 Peter Steinberger에 의해 단 일주일 만에 18만 개 이상의 GitHub 스타를 모으고 2백만 명의 방문자를 유치했습니다. 그러나 보안 연구원들은 1,800개 이상의 노출된 인스턴스에서 API 키, 채팅 기록 및 계정 자격 증명이 유출되는 것을 발견했습니다. VentureBeat는 이러한 풀뿌리 에이전트 AI 운동이 많은 보안 도구가 탐지할 수 없는 중요한 비관리 공격 표면을 나타낸다고 언급했습니다. 보고서는 특히 에이전트가 BYOD 하드웨어에서 실행될 때 기존 보안 경계가 에이전트 AI 위협을 감지하지 못하는 경우가 많다고 강조했습니다.

코딩 에이전트의 개발도 진행 중이며, 개발자들은 최소한의 의견이 반영된 설계를 모색하고 있습니다. 한 개발자는 이러한 에이전트를 구축한 경험을 자세히 설명하면서 여러 모델, 구조화된 분할 도구 결과 및 최소한의 시스템 프롬프트 사용을 강조했습니다. 개발자는 "내장된 할 일 없음", "계획 모드 없음" 및 "MCP 지원 없음"과 같은 설계 선택 사항을 언급하며 단순성과 직접성에 중점을 두었습니다.