AI Agent正在改变企业安全和个人数据管理，但风险隐现
人工智能Agent的兴起正在迅速改变企业安全运营和个人数据管理，但专家警告说，如果未实施适当的治理和安全措施，将会存在重大风险。据VentureBeat报道，安全运营中心 (SOC) 团队越来越多地使用受监督的AI Agent来自动执行诸如分类、丰富和升级之类的任务，以管理大量的安全警报。与此同时，据MIT Technology Review报道，AI聊天机器人和Agent正变得越来越个性化，能够记住用户偏好并从个人数据中提取信息，从而引发了隐私问题。
SOC中向AI驱动的自动化转变是由安全团队每天面临的大量警报驱动的。据VentureBeat报道，平均每个企业SOC每天收到10,000个警报，每个警报需要20到40分钟才能进行适当的调查。然而，即使是人员配备齐全的团队也只能处理其中一小部分警报，从而导致关键警报被忽略。VentureBeat指出：“超过60%的安全团队承认忽略了后来被证明是关键的警报。” 为了应对这一挑战，公司正在转向使用AI Agent来处理Tier-1分析师的任务，从而使人工分析师可以专注于更复杂的调查和边缘案例决策。这种方法旨在缩短响应时间并提高整体效率。
据VentureBeat报道，由Bezos Expeditions和Bain Capital Ventures支持的初创公司Contextual AI最近推出了Agent Composer，该平台旨在帮助工程师为航空航天和半导体制造等行业的知识密集型工作构建AI Agent。该公司认为，成功采用AI的关键在于能够创建可以自动执行复杂任务的专用Agent。
然而，对AI Agent日益增长的依赖也带来了新的安全风险。MIT Technology Review报道说，攻击者正在利用AI Agent来执行复杂的网络攻击。2025年9月，一个国家支持的黑客组织使用Anthropic的Claude代码作为自动化入侵引擎，攻击了科技、金融、制造和政府领域的约30个组织。据MIT Technology Review称，攻击者使用AI自动化了80%到90%的运营，包括侦察、漏洞开发、凭据收集、横向移动和数据泄露，只有在关键决策点才有人工干预。该事件凸显了AI Agent可能被劫持并用于恶意目的的潜力。
此外，个性化AI聊天机器人和Agent的日益增长的趋势也引发了隐私问题。据MIT Technology Review报道，Google本月早些时候宣布的Personal Intelligence允许该公司的Gemini聊天机器人利用用户的Gmail、照片、搜索和YouTube历史记录来提供更加个性化和主动的互动。OpenAI、Anthropic和Meta采取的类似举措，将个人数据纳入其AI产品中，引发了有关如何存储、使用和保护这些信息的问题。
据VentureBeat报道，Gartner预测，由于缺乏人工洞察力和直觉的整合，超过40%的Agent型AI实施将会失败。这突显了建立明确的治理边界并确保人工分析师继续参与决策过程的重要性。整合人工监督对于防止AI Agent出错或被攻击者利用至关重要。
随着AI Agent在企业安全和个人数据管理中变得越来越普遍，必须主动解决相关的风险。组织必须实施强大的安全措施，以保护AI Agent免受损害，并建立明确的个人数据使用指南。否则可能会导致重大的安全漏洞和隐私侵犯。
Discussion
Join the conversation
Be the first to comment