أفاد العديد من التقارير أن باحثي Nvidia طوروا تقنية جديدة، وهي التخفيف الديناميكي للذاكرة (DMS)، والتي قلصت احتياجات الذاكرة الخاصة بنماذج اللغة الكبيرة (LLMs) بثمانية أضعاف. هذا الاختراق، إلى جانب تطوير مكتبة C خفيفة الوزن تسمى vdb، يعد بتقليل اختناقات الحوسبة بشكل كبير والتي تعيق التبني الأوسع لـ LLMs في التطبيقات الواقعية.
وفقًا للتقارير، تعمل تقنية DMS على ضغط ذاكرة التخزين المؤقت لقيمة المفتاح (KV)، مما يسمح لـ LLMs بمعالجة المزيد من المعلومات دون التضحية بالسرعة أو الدقة. يمكّن هذا الابتكار LLMs من "التفكير" لفترة أطول واستكشاف المزيد من الحلول، مما قد يتغلب على عقبة رئيسية في اعتماد المؤسسات، كما ورد في تقرير VentureBeat.
في الوقت نفسه، تم إنشاء مكتبة C ذات الرأس فقط تسمى vdb لتخزين والبحث بكفاءة عن تضمينات المتجهات عالية الأبعاد. تقدم هذه المكتبة، كما هو مفصل في Hacker News، ميزات مثل مقاييس المسافة المتعددة (جيب التمام، الإقليدية، حاصل الضرب النقطي)، ودعم تعدد مؤشرات الترابط الاختياري، والقدرة على حفظ وتحميل قواعد البيانات من وإلى القرص. تم تصميم المكتبة لتكون خفيفة الوزن، مع عدم وجود تبعيات باستثناء pthreads لتعدد مؤشرات الترابط.
يتم تنفيذ مكتبة vdb في ملف رأس واحد، vdb.h. يتضمن استخدامها تضمين ملف الرأس والترجمة باستخدام مترجم C. تسمح المكتبة للمستخدمين بإنشاء قاعدة بيانات وإضافة متجهات والبحث عن متجهات مماثلة باستخدام مقاييس مسافة مختلفة. تتوفر أيضًا روابط Python، كما هو مذكور في Hacker News.
يوفر الجمع بين DMS و vdb حلاً واعدًا لتقليل التكاليف وتحسين أداء LLMs. من خلال ضغط ذاكرة التخزين المؤقت KV وتوفير قاعدة بيانات متجهات فعالة، تهدف Nvidia إلى جعل LLMs أكثر سهولة وعملية لمجموعة واسعة من التطبيقات.
Discussion
AI Experts & Community
Be the first to comment