Microsoft a corrigé une faille de sécurité dans son assistant IA Copilot qui permettait aux attaquants d'extraire des données utilisateur sensibles en un seul clic sur un lien d'apparence inoffensive. Des chercheurs en sécurité de Varonis ont découvert la faille et ont démontré comment une attaque en plusieurs étapes pouvait exfiltrer des informations telles que le nom, la localisation et les détails de l'historique de chat Copilot d'un utilisateur.

L'attaque, une fois lancée par l'utilisateur en cliquant sur le lien, continuait de s'exécuter même après la fermeture de la fenêtre de chat Copilot, sans nécessiter d'interaction supplémentaire. Selon Varonis, l'exploit contournait les contrôles de sécurité des terminaux d'entreprise et les mécanismes de détection généralement utilisés par les applications de protection des terminaux. « Une fois que nous fournissons ce lien avec cette invite malveillante, l'utilisateur n'a qu'à cliquer sur le lien et la tâche malveillante est immédiatement exécutée », a déclaré Dolev Taler, chercheur en sécurité chez Varonis, dans une déclaration à Ars Technica. « Même si l'utilisateur clique simplement sur le lien et ferme immédiatement l'onglet de chat Copilot, l'exploit fonctionne toujours. »

La vulnérabilité met en évidence les risques inhérents aux grands modèles de langage (LLM) comme Copilot, qui sont de plus en plus intégrés aux applications quotidiennes. Les LLM apprennent à partir de vastes ensembles de données et peuvent générer du texte de type humain, mais leur complexité les rend également susceptibles de présenter des failles de sécurité imprévues. Cet incident souligne l'importance de mesures de sécurité robustes et d'une surveillance continue pour protéger les données des utilisateurs au sein des plateformes basées sur l'IA.

Le vecteur d'attaque exploitait une faiblesse dans la façon dont Copilot traitait et exécutait les instructions intégrées dans le lien. En créant une invite malveillante intégrée dans une URL Copilot légitime, les chercheurs ont pu déclencher une chaîne d'événements qui a conduit à l'exfiltration de données. Ce type d'attaque, connu sous le nom d'attaque par injection d'invite, est une préoccupation croissante dans le domaine de la sécurité de l'IA. L'injection d'invite se produit lorsqu'un attaquant manipule l'entrée d'un modèle d'IA pour l'amener à effectuer des actions non intentionnelles, telles que la divulgation d'informations sensibles ou l'exécution de code malveillant.

Les implications de cette vulnérabilité vont au-delà des utilisateurs individuels. Dans les environnements d'entreprise, où Copilot est utilisé pour accéder et traiter des données commerciales sensibles, une attaque réussie pourrait entraîner d'importantes violations de données et des pertes financières. L'incident soulève également des questions plus larges sur la sécurité et la confidentialité des assistants basés sur l'IA et sur la nécessité d'une plus grande transparence et responsabilité dans leur développement et leur déploiement.

Microsoft a publié un correctif pour remédier à la vulnérabilité, et il est conseillé aux utilisateurs de mettre à jour leurs installations Copilot vers la dernière version. L'entreprise s'efforce également d'améliorer la sécurité de ses plateformes d'IA et de développer de nouvelles méthodes de détection et de prévention des attaques par injection d'invite. Alors que la technologie de l'IA continue d'évoluer, il est essentiel que les développeurs et les chercheurs en sécurité collaborent pour identifier et atténuer les vulnérabilités potentielles, en veillant à ce que ces outils puissants soient utilisés de manière sûre et responsable. L'incident nous rappelle que même des interactions apparemment simples avec les systèmes d'IA peuvent avoir des implications importantes en matière de sécurité, et que la vigilance est essentielle pour protéger les données des utilisateurs à l'ère de l'intelligence artificielle.