Microsoft устранила уязвимость в своем AI-ассистенте Copilot, которая позволяла злоумышленникам извлекать конфиденциальные данные пользователей одним щелчком по, казалось бы, безобидной ссылке. Исследователи безопасности из Varonis обнаружили этот недостаток, продемонстрировав многоступенчатую атаку, способную похитить имя пользователя, местоположение и детали из истории чатов Copilot.

Атака продолжалась даже после того, как пользователь закрывал окно чата Copilot, не требуя никаких дальнейших действий, кроме первоначального щелчка по ссылке, встроенной в электронное письмо. По данным Varonis, эксплойт обходил корпоративные средства контроля безопасности конечных точек и механизмы обнаружения, обычно используемые приложениями защиты конечных точек. «Как только мы доставляем эту ссылку с этим вредоносным запросом, пользователю достаточно щелкнуть по ссылке, и вредоносная задача немедленно выполняется», — заявил Долев Талер, исследователь безопасности из Varonis, в заявлении для Ars Technica. «Даже если пользователь просто щелкает по ссылке и сразу же закрывает вкладку чата Copilot, эксплойт все равно работает».

Уязвимость подчеркивает неотъемлемые риски, связанные с большими языковыми моделями (LLM), такими как Copilot, которые все чаще интегрируются в повседневные рабочие процессы. LLM обучаются на огромных наборах данных, что позволяет им генерировать человекоподобный текст и автоматизировать задачи. Однако их сложность также создает возможности для эксплуатации. В данном случае атака использовала специально созданный запрос, встроенный в легитимную ссылку Copilot, чтобы инициировать цепочку действий, приводящих к утечке данных.

Этот инцидент подчеркивает важность надежных мер безопасности для инструментов на базе AI. Хотя AI предлагает значительные преимущества в производительности и автоматизации, он также представляет новые векторы атак, которые традиционные системы безопасности могут не адекватно решать. Способность этого эксплойта обходить приложения защиты конечных точек вызывает опасения по поводу эффективности текущих парадигм безопасности перед лицом сложных атак, управляемых AI.

Обнаружение этой уязвимости и ее последующее исправление компанией Microsoft представляют собой непрерывные усилия по обеспечению безопасности AI-систем. По мере того, как AI становится все более распространенным, сотрудничество между исследователями безопасности и поставщиками технологий имеет решающее значение для выявления и смягчения потенциальных рисков. Инцидент служит напоминанием о том, что даже кажущиеся безобидными взаимодействия с AI-системами могут иметь непредвиденные последствия, подчеркивая необходимость осведомленности пользователей и осторожности при взаимодействии с контентом, сгенерированным AI. Дополнительные сведения о конкретном характере уязвимости и шагах, предпринятых Microsoft для ее устранения, ожидаются в ближайшие недели.