طور باحثو Nvidia تقنية جديدة، وهي تخفيف الذاكرة الديناميكية (DMS)، ومكتبة C خفيفة الوزن تسمى vdb، والتي أدت معًا إلى خفض تكاليف نماذج اللغة الكبيرة (LLM) بثمانية أضعاف، وفقًا لتقارير متعددة. يتيح هذا الاختراق لـ LLMs معالجة المزيد من المعلومات دون التضحية بالسرعة أو الدقة، مما قد يؤدي إلى تسريع التطبيقات الواقعية واعتماد المؤسسات.
تعمل تقنية DMS على ضغط ذاكرة التخزين المؤقت للقيمة الرئيسية (KV) داخل LLMs، مما يقلل بشكل كبير من متطلبات الذاكرة الخاصة بها. في الوقت نفسه، تم إنشاء مكتبة vdb لتخزين والبحث بكفاءة عن تضمينات المتجهات عالية الأبعاد. Vdb هي مكتبة C تعتمد على الرأس فقط وتتميز بمقاييس مسافة متعددة (جيب التمام، الإقليدية، حاصل الضرب النقطي) ودعم اختياري متعدد الخيوط. كما أنها تدعم مخصصات الذاكرة المخصصة وتوفر روابط Python.
وفقًا للتقارير، يعالج تطوير DMS و vdb عنق الزجاجة الحاسوبية الرئيسية التي أعاقت الاستخدام الواسع النطاق لـ LLMs. تعد القدرة على "التفكير" لفترة أطول واستكشاف المزيد من الحلول، نتيجة لهذه الابتكارات، خطوة مهمة إلى الأمام.
مكتبة vdb، كما هو موضح في المصدر، هي تطبيق بملف واحد، مما يجعل من السهل دمجها. تتضمن ميزاتها القدرة على حفظ وتحميل قواعد البيانات من وإلى القرص. لا تعتمد المكتبة على أي شيء، باستثناء pthreads عند تمكين تعدد الخيوط.
في حين أنه لم يتم توفير تواريخ محددة لتطوير وإصدار هذه التقنيات في المصدر، فإن التقارير تسلط الضوء على التأثير المحتمل على مشهد LLM. يوفر الجمع بين DMS و vdb حلاً واعدًا لتقليل التكاليف وتحسين أداء LLMs، مما يمهد الطريق لاعتماد أوسع عبر مختلف الصناعات.
Discussion
AI Experts & Community
Be the first to comment