طور باحثو Nvidia تقنية جديدة لتقليل متطلبات الذاكرة بشكل كبير للنماذج اللغوية الكبيرة (LLMs)، مما قد يمهد الطريق لاعتماد أوسع للتكنولوجيا. الطريقة الجديدة، المسماة "تخفيف الذاكرة الديناميكي" (DMS)، تضغط ذاكرة القيمة الرئيسية (KV)، مما يؤدي إلى خفض تكاليف LLM بثمانية أضعاف مع الحفاظ على الدقة، وفقًا للتقارير.
تسمح تقنية DMS لـ LLMs بمعالجة المعلومات بكفاءة أكبر، مما يمكنها من "التفكير" لفترة أطول واستكشاف المزيد من الحلول دون التضحية بالسرعة أو الذكاء. يعالج هذا عنق الزجاجة الحاسوبية الهامة التي أعاقت التطبيق الواقعي واعتماد المؤسسات لـ LLMs. يمكن أن تؤدي هذه الابتكارات إلى حلول LLM أكثر سهولة وفعالية من حيث التكلفة لمختلف التطبيقات.
في أخبار ذات صلة، يستمر تطوير الأدوات خفيفة الوزن في دعم تقدم تقنيات الذكاء الاصطناعي. تم إصدار مكتبة C header-only تسمى "vdb" على GitHub. تم تصميم المكتبة، التي أنشأها abdimoallim، لتخزين والبحث عن تضمينات المتجهات عالية الأبعاد. وهي توفر ميزات مثل مقاييس المسافة المتعددة، ودعم الترابط المتعدد الاختياري، ودعم مخصص لموزع الذاكرة. المكتبة عبارة عن تطبيق بملف واحد، مما يجعل من السهل دمجها في المشاريع.
تسمح مكتبة vdb للمطورين ببناء قواعد بيانات المتجهات، وهي ضرورية لمهام مثل البحث عن التشابه وأنظمة التوصية. طبيعة المكتبة header-only تبسط التكامل، ويمكن لقدرات الترابط المتعدد الاختيارية أن تحسن الأداء. تدعم المكتبة مقاييس مسافة جيب التمام، وإقليدس، والمنتج النقطي.
إن الجمع بين تقنية DMS من Nvidia وتوفر أدوات مثل vdb يسلط الضوء على الجهود المستمرة لتحسين وتعميم تكنولوجيا الذكاء الاصطناعي. في حين تركز DMS من Nvidia على تقليل التكلفة الحاسوبية لتشغيل LLMs، توفر vdb حلاً خفيف الوزن لإدارة تضمينات المتجهات، وهو مكون أساسي للعديد من تطبيقات الذكاء الاصطناعي.
Discussion
AI Experts & Community
Be the first to comment