AI 에이전트, 엔터프라이즈 운영에 혁신을 가져오지만 거버넌스 우려도 고조
최근 보고서에 따르면 기업들이 복잡한 작업을 자동화하기 위해 AI 에이전트 도입을 늘리면서 잠재적 위험과 강력한 거버넌스 필요성에 대한 우려가 커지고 있습니다. 이러한 변화는 기업들이 엄청난 양의 보안 경고에 대처하고 기술적으로 까다로운 분야에서 운영을 간소화하려는 노력의 일환으로 나타났습니다.
AI 에이전트의 부상은 끊임없이 증가하는 보안 경고량을 관리해야 할 필요성에 의해 주도되고 있습니다. VentureBeat에 따르면 평균적인 엔터프라이즈 보안 운영 센터(SOC)는 하루에 10,000건의 경고를 받으며, 각 경고를 조사하는 데 20~40분이 소요됩니다. 그러나 인력이 충분히 확보된 팀조차도 이러한 경고 중 22건만 처리할 수 있습니다. 이로 인해 60% 이상의 보안 팀이 나중에 중요한 것으로 판명된 경고를 무시하는 상황이 발생했습니다.
VentureBeat에 따르면 이러한 문제를 해결하기 위해 SOC 팀은 분류, 보강 및 에스컬레이션과 같은 작업을 자동화하고 있으며, 인간 분석가는 조사, 검토 및 예외적인 의사 결정에 집중하고 있습니다. Bezos Expeditions와 Bain Capital Ventures의 지원을 받는 스타트업인 Contextual AI는 최근 엔지니어가 항공우주 및 반도체 제조와 같은 산업에서 지식 집약적인 작업을 위한 AI 에이전트를 구축하는 데 도움이 되도록 설계된 플랫폼인 Agent Composer를 출시했습니다.
중국 회사인 Moonshot AI는 오픈 소스 Kimi K2 모델을 Kimi K2.5로 업그레이드하여 에이전트 스웜 오케스트레이션을 지원하는 코딩 및 비전 모델로 전환했다고 VentureBeat는 보도했습니다. 이를 통해 기업은 중앙 의사 결정자에 의존하는 대신 자동으로 작업을 전달할 수 있는 에이전트를 만들 수 있습니다. Kimi K2.5의 기반이 된 Kimi K2 모델은 총 1조 개의 파라미터와 320억 개의 활성화된 파라미터를 가지고 있다고 VentureBeat는 밝혔습니다.
그러나 AI 에이전트에 대한 의존도가 높아짐에 따라 새로운 보안 위험도 발생하고 있습니다. MIT Technology Review는 인간 참여형 에이전트 행동과 완전 자율 에이전트 워크플로에 대한 강압이 해커의 새로운 공격 벡터가 되고 있다고 보도했습니다. 2026년의 Gemini Calendar 프롬프트 주입 공격과 Anthropic의 Claude 코드를 자동 침입 엔진으로 사용한 2025년 9월의 국가 지원 해킹이 이러한 공격의 예입니다.
MIT Technology Review에 따르면 Anthropic의 경우 공격자는 정찰, 익스플로잇 개발, 자격 증명 수집, 측면 이동 및 데이터 유출을 포함하여 작업의 80~90%를 AI를 사용하여 수행했으며, 인간은 소수의 주요 의사 결정 지점에서만 개입했습니다. 이 공격은 기술, 금융, 제조 및 정부 전반에 걸쳐 약 30개 조직에 영향을 미쳤습니다.
VentureBeat에 따르면 Gartner는 에이전트 AI 이니셔티브의 40% 이상이 인간의 통찰력과 직관의 통합 부족으로 인해 실패할 것이라고 예측합니다. 이는 AI 에이전트가 효과적이고 윤리적으로 사용되도록 거버넌스 경계를 설정하는 것이 중요하다는 점을 강조합니다.
Discussion
대화에 참여하세요
첫 댓글을 남겨보세요