كشف باحثو Nvidia عن مكتبة قاعدة بيانات متجهية جديدة، "vdb"، وتقنية تسمى "تخفيف الذاكرة الديناميكي" (DMS) والتي لديها القدرة مجتمعة على خفض تكاليف نماذج اللغة الكبيرة (LLM) بما يصل إلى ثمانية أضعاف، وفقًا لتقارير متعددة. تهدف هذه الابتكارات إلى معالجة قيود الذاكرة وتحسين الكفاءة في التعامل مع البيانات المعقدة داخل نماذج LLM.
مكتبة vdb هي مكتبة C خفيفة الوزن، تعتمد على الرأس فقط، مصممة لتخزين والبحث بكفاءة عن تضمينات المتجهات عالية الأبعاد. توفر ميزات مثل مقاييس المسافة المتعددة (جيب التمام، الإقليدية، حاصل الضرب النقطي)، ودعم اختياري متعدد الخيوط، والقدرة على حفظ وتحميل قواعد البيانات من وإلى القرص. ليس للمكتبة أي تبعيات، باستثناء pthreads عند تمكين تعدد الخيوط. تتوفر أيضًا روابط بايثون. "vdb هي مكتبة C خفيفة الوزن لتخزين والبحث بكفاءة عن تضمينات المتجهات عالية الأبعاد"، كما أشار أحد المصادر.
في الوقت نفسه، طور باحثو Nvidia تقنية "تخفيف الذاكرة الديناميكي" (DMS)، وهي تقنية تضغط ذاكرة التخزين المؤقت للقيمة الرئيسية (KV) في نماذج اللغة الكبيرة. يسمح هذا الضغط لنماذج LLM بمعالجة المزيد من المعلومات دون التضحية بالسرعة. تعد ذاكرة التخزين المؤقت KV مكونًا حاسمًا في نماذج LLM، حيث تخزن معلومات حول التفاعلات السابقة للنموذج. عن طريق ضغط هذه الذاكرة، يمكن تقليل حجم الذاكرة التي تشغلها النماذج بشكل كبير.
يوفر الجمع بين DMS و vdb حلاً شاملاً لتحسين الكفاءة وتقليل التكاليف المرتبطة بتشغيل نماذج اللغة الكبيرة. يوفر تطوير vdb طريقة مبسطة للتعامل مع تضمينات المتجهات، بينما يعالج DMS قيود الذاكرة التي غالبًا ما تحد من أداء نماذج LLM. "تعالج هذه الابتكارات قيود الذاكرة في نماذج اللغة الكبيرة وتوفر كفاءة محسنة في التعامل مع البيانات المعقدة"، كما ذكر أحد المصادر.
التفاصيل الدقيقة لكيفية تحقيق وفورات التكاليف والتحسينات المحددة في الأداء غير متوفرة بعد بشكل كامل. ومع ذلك، يشير التخفيض الثماني أضعاف في التكاليف المبلغ عنه إلى تقدم كبير في مجال تطوير LLM. من المحتمل إجراء المزيد من الأبحاث والاختبارات لفهم تأثير هذه التقنيات الجديدة بشكل كامل.
Discussion
AI Experts & Community
Be the first to comment