يهدف بحث DeepSeek في "الذاكرة الشرطية" إلى معالجة الاستخدام غير الفعال لحسابات وحدة معالجة الرسومات (GPU) في نماذج اللغة الكبيرة (LLMs) عند الوصول إلى المعلومات الثابتة. تقدم الدراسة التي تم إصدارها حديثًا وحدة تسمى Engram، مصممة لفصل استرجاع الأنماط الثابتة عن الاستدلال الديناميكي، مما قد يوفر موارد حسابية كبيرة.

وفقًا للبحث، تستخدم نماذج اللغة الكبيرة (LLMs) الخاصة بالمؤسسات بشكل متكرر حسابات وحدة معالجة الرسومات (GPU) باهظة الثمن، والمصممة للاستدلال المعقد، لمجرد استرجاع معلومات ثابتة مثل أسماء المنتجات أو المواصفات الفنية أو بنود العقود القياسية. تحدث عمليات البحث هذه ملايين المرات يوميًا، مما يؤدي إلى إهدار الدورات الحسابية وتضخيم تكاليف البنية التحتية. سعى فريق DeepSeek، بما في ذلك المؤلف المشارك والمؤسس ليانغ وينفنغ، إلى تحسين هذه العملية.

من خلال التجارب المنهجية، حددت DeepSeek أن تخصيص 75٪ من سعة النموذج المتناثر للاستدلال الديناميكي و 25٪ لعمليات البحث الثابتة يوفر التوازن الأمثل بين الحساب والذاكرة. أشارت النتائج إلى أن نظام الذاكرة هذا حسّن قدرات الاستدلال بشكل ملحوظ أكثر من استرجاع المعرفة. قفزت نتائج معايير الاستدلال المعقد، التي تم قياسها باستخدام Big-Bench Hard، من 70٪ إلى 74٪ من الدقة، بينما تحسنت الاختبارات التي تركز على المعرفة من 57٪ إلى 61٪.

تتجاوز آثار هذا البحث مجرد مكاسب الكفاءة. من خلال تحسين كيفية وصول نماذج اللغة الكبيرة (LLMs) إلى المعلومات ومعالجتها، يتحدى عمل DeepSeek الافتراضات الأساسية حول دور الذاكرة في الشبكات العصبية. تسمح وحدة Engram باتباع نهج أكثر دقة لتخصيص الذاكرة، مما قد يمهد الطريق لأنظمة ذكاء اصطناعي أكثر كفاءة وقوة.

يأتي هذا التطور في وقت يخضع فيه استهلاك الطاقة والأثر البيئي لنماذج اللغة الكبيرة لتدقيق متزايد. من خلال تقليل النفقات الحسابية المرتبطة باسترجاع المعلومات الثابتة، يمكن أن يساهم نهج الذاكرة الشرطية لـ DeepSeek في تطوير ذكاء اصطناعي أكثر استدامة. هناك حاجة إلى مزيد من البحث لاستكشاف قابلية التوسع والتعميم لوحدة Engram عبر مختلف بنيات وتطبيقات نماذج اللغة الكبيرة (LLMs).