أظهر باحثون في أكتوبر 2025 أن معظم دفاعات أمن الذكاء الاصطناعي يمكن تجاوزها بسهولة، مما أثار مخاوف جدية بشأن فعالية منتجات أمن الذكاء الاصطناعي الحالية. نشر فريق من OpenAI و Anthropic و Google DeepMind ورقة بحثية بعنوان "المهاجم يتحرك ثانيًا: هجمات تكيفية أقوى تتجاوز الدفاعات ضد عمليات كسر حماية نماذج اللغات الكبيرة (LLM) وهجمات حقن التعليمات"، والتي فصلت كيف نجحوا في التحايل على 12 دفاعًا منشورًا للذكاء الاصطناعي، ادعى العديد منها معدلات نجاح هجوم تقارب الصفر. يسلط البحث الضوء على فجوة حرجة بين التدابير الأمنية التي يتم نشرها وتطور الهجمات المحتملة.
كشفت الدراسة أن فريق البحث حقق معدلات تجاوز تتجاوز 90٪ في معظم الدفاعات التي تم اختبارها. يشير هذا إلى أن العديد من منتجات أمن الذكاء الاصطناعي لا يتم اختبارها بشكل كافٍ ضد سلوكيات المهاجمين الواقعية. قام الفريق بتقييم الدفاعات القائمة على التعليمات، والقائمة على التدريب، والقائمة على التصفية في ظل ظروف الهجوم التكيفي، ووجد أن جميعها عرضة للخطر. على سبيل المثال، شهدت الدفاعات القائمة على التعليمات معدلات نجاح هجوم تتراوح من 95٪ إلى 99٪ في ظل الهجمات التكيفية. كان أداء الطرق القائمة على التدريب سيئًا بالمثل، حيث وصلت معدلات التجاوز إلى 96٪ إلى 100٪.
لاختبار الدفاعات بدقة، صمم الباحثون منهجية شاملة تضمنت 14 مؤلفًا ومجموعة جوائز بقيمة 20000 دولار للهجمات الناجحة. يهدف هذا النهج إلى محاكاة الظروف العدائية في العالم الحقيقي وتحفيز تطوير تقنيات تجاوز فعالة. إن حقيقة أن الباحثين تمكنوا من التغلب باستمرار على الدفاعات، على الرغم من معدلات نجاح الهجوم التي ادعوا أنها تقارب الصفر، تؤكد خطورة المشكلة.
أكد لويس كولومبوس، في كتاباته في يناير 2026، على الآثار المترتبة على المؤسسات، مشيرًا إلى أن العديد من منتجات أمن الذكاء الاصطناعي يتم اختبارها ضد مهاجمين لا يتصرفون مثل المهاجمين الحقيقيين. هذا يثير تساؤلات حول عمليات العناية الواجبة لفرق الأمن ودقة ادعاءات البائعين.
أثارت النتائج دعوات إلى اتباع نهج أكثر قوة وعدائية لاختبار أمن الذكاء الاصطناعي. يوصي الخبراء بأن تطرح المؤسسات على البائعين أسئلة مهمة حول منهجيات الاختبار الخاصة بهم، بما في ذلك ما إذا كانت قد تعرضت لهجمات تكيفية وتمارين الفريق الأحمر. يسلط البحث الضوء أيضًا على الحاجة إلى المراقبة المستمرة وتكييف دفاعات الذكاء الاصطناعي، حيث يطور المهاجمون تقنياتهم باستمرار. يتطلب التقدم السريع في تكنولوجيا الذكاء الاصطناعي اتباع نهج استباقي وديناميكي للأمن، بدلاً من الاعتماد على الدفاعات الثابتة التي يمكن تجاوزها بسهولة.
Discussion
Join the conversation
Be the first to comment