एनवीडिया के शोधकर्ताओं ने बड़े भाषा मॉडल (एलएलएम) की मेमोरी आवश्यकताओं को भारी रूप से कम करने के लिए एक नई तकनीक विकसित की है, जिससे इस तकनीक को व्यापक रूप से अपनाने का मार्ग प्रशस्त हो सकता है। नई विधि, जिसे डायनेमिक मेमोरी स्पार्सिफिकेशन (डीएमएस) कहा जाता है, की-वैल्यू (केवी) कैश को संपीड़ित करती है, जिसके परिणामस्वरूप एलएलएम लागत में आठ गुना कमी आती है, जबकि सटीकता बनी रहती है, रिपोर्टों के अनुसार।
डीएमएस तकनीक एलएलएम को अधिक कुशलता से जानकारी संसाधित करने की अनुमति देती है, जिससे वे गति या बुद्धिमत्ता का त्याग किए बिना अधिक समय तक "सोच" सकते हैं और अधिक समाधानों का पता लगा सकते हैं। यह एक महत्वपूर्ण कम्प्यूटेशनल बाधा को दूर करता है जिसने एलएलएम के वास्तविक दुनिया के अनुप्रयोग और उद्यम अपनाने में बाधा डाली है। यह नवाचार विभिन्न अनुप्रयोगों के लिए अधिक सुलभ और लागत प्रभावी एलएलएम समाधानों को जन्म दे सकता है।
संबंधित समाचारों में, हल्के उपकरणों का विकास एआई तकनीकों की उन्नति का समर्थन करना जारी रखता है। "वीडीबी" नामक एक हेडर-ओनली सी लाइब्रेरी को GitHub पर जारी किया गया है। abdimoallim द्वारा बनाई गई लाइब्रेरी, उच्च-आयामी वेक्टर एम्बेडिंग को संग्रहीत और खोजने के लिए डिज़ाइन की गई है। यह कई दूरी मेट्रिक्स, वैकल्पिक मल्टीथ्रेडिंग समर्थन और कस्टम मेमोरी एलोकेटर समर्थन जैसी सुविधाएँ प्रदान करता है। लाइब्रेरी एक सिंगल-फाइल कार्यान्वयन है, जो इसे परियोजनाओं में एकीकृत करना आसान बनाता है।
वीडीबी लाइब्रेरी डेवलपर्स को वेक्टर डेटाबेस बनाने की अनुमति देती है, जो समानता खोज और अनुशंसा प्रणालियों जैसे कार्यों के लिए महत्वपूर्ण हैं। लाइब्रेरी की हेडर-ओनली प्रकृति एकीकरण को सरल बनाती है, और इसकी वैकल्पिक मल्टीथ्रेडिंग क्षमताएं प्रदर्शन में सुधार कर सकती हैं। लाइब्रेरी कोसाइन, यूक्लिडियन और डॉट उत्पाद दूरी मेट्रिक्स का समर्थन करती है।
एनवीडिया की डीएमएस तकनीक और वीडीबी जैसे उपकरणों की उपलब्धता का संयोजन एआई तकनीक को अनुकूलित और लोकतंत्रीकरण करने के चल रहे प्रयासों को उजागर करता है। जबकि एनवीडिया का डीएमएस एलएलएम चलाने की कम्प्यूटेशनल लागत को कम करने पर केंद्रित है, वीडीबी वेक्टर एम्बेडिंग को प्रबंधित करने के लिए एक हल्का समाधान प्रदान करता है, जो कई एआई अनुप्रयोगों का एक मुख्य घटक है।
Discussion
AI Experts & Community
Be the first to comment