Microsoft устранила уязвимость в своем AI-помощнике Copilot, которая позволяла злоумышленникам извлекать конфиденциальные данные пользователей одним щелчком по, казалось бы, безобидной ссылке. Специалисты по безопасности из Varonis обнаружили этот недостаток и продемонстрировали, как многоступенчатая атака может привести к утечке такой информации, как имя пользователя, местоположение и детали из истории чата Copilot.

Атака, начатая после того, как пользователь нажал на ссылку, продолжала выполняться даже после закрытия окна чата Copilot, не требуя дальнейшего взаимодействия. По данным Varonis, эксплойт обходил корпоративные средства контроля безопасности конечных точек и механизмы обнаружения, обычно используемые приложениями для защиты конечных точек. "Как только мы предоставляем эту ссылку с этим вредоносным запросом, пользователю достаточно просто нажать на ссылку, и вредоносная задача немедленно выполняется", - заявил Долев Талер, исследователь безопасности из Varonis, в заявлении для Ars Technica. "Даже если пользователь просто нажимает на ссылку и сразу же закрывает вкладку чата Copilot, эксплойт все равно работает".

Уязвимость подчеркивает неотъемлемые риски, связанные с большими языковыми моделями (LLM), такими как Copilot, которые все чаще интегрируются в повседневные приложения. LLM обучаются на огромных наборах данных и могут генерировать текст, похожий на человеческий, но их сложность также делает их восприимчивыми к непредвиденным недостаткам безопасности. Этот инцидент подчеркивает важность надежных мер безопасности и непрерывного мониторинга для защиты пользовательских данных в рамках платформ на базе AI.

Вектор атаки использовал слабость в том, как Copilot обрабатывал и выполнял инструкции, встроенные в ссылку. Создав вредоносный запрос, встроенный в легитимный URL-адрес Copilot, исследователи смогли запустить цепочку событий, которая привела к утечке данных. Этот тип атаки, известный как атака с внедрением запроса (prompt injection attack), вызывает все большую озабоченность в области безопасности AI. Внедрение запроса происходит, когда злоумышленник манипулирует вводом в модель AI, чтобы заставить ее выполнять непреднамеренные действия, такие как раскрытие конфиденциальной информации или выполнение вредоносного кода.

Последствия этой уязвимости выходят за рамки отдельных пользователей. В корпоративной среде, где Copilot используется для доступа и обработки конфиденциальных бизнес-данных, успешная атака может привести к значительным утечкам данных и финансовым потерям. Инцидент также поднимает более широкие вопросы о безопасности и конфиденциальности AI-помощников и о необходимости большей прозрачности и подотчетности в их разработке и развертывании.

Microsoft выпустила патч для устранения уязвимости, и пользователям рекомендуется обновить свои установки Copilot до последней версии. Компания также работает над улучшением безопасности своих AI-платформ и над разработкой новых методов обнаружения и предотвращения атак с внедрением запросов. Поскольку технология AI продолжает развиваться, разработчикам и исследователям безопасности крайне важно сотрудничать для выявления и смягчения потенциальных уязвимостей, обеспечивая безопасное и ответственное использование этих мощных инструментов. Инцидент служит напоминанием о том, что даже кажущиеся простыми взаимодействия с AI-системами могут иметь серьезные последствия для безопасности, и что бдительность необходима для защиты пользовательских данных в эпоху искусственного интеллекта.