এনভিডিয়া গবেষকরা একটি নতুন কৌশল তৈরি করেছেন, যার নাম ডাইনামিক মেমরি স্পার্সিফিকেশন (DMS)। একাধিক প্রতিবেদন অনুযায়ী, এই কৌশল বৃহৎ ভাষা মডেলের (LLM) মেমরি ব্যবহারের চাহিদা আটগুণ কমিয়েছে। এই যুগান্তকারী উদ্ভাবন, vdb নামক একটি হালকা ওজনের C লাইব্রেরির উন্নয়নের সাথে মিলিত হয়ে, বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে LLM-এর বৃহত্তর গ্রহণকে বাধাগ্রস্ত করে এমন গণনামূলক সীমাবদ্ধতাগুলি উল্লেখযোগ্যভাবে হ্রাস করার প্রতিশ্রুতি দেয়।
প্রতিবেদন অনুযায়ী, DMS কৌশলটি কী-ভ্যালু (KV) ক্যাশে সংকুচিত করে, যা LLM-গুলিকে গতি বা নির্ভুলতা ত্যাগ না করে আরও তথ্য প্রক্রিয়া করতে দেয়। VentureBeat-এর একটি প্রতিবেদনে বলা হয়েছে, এই উদ্ভাবন LLM-গুলিকে আরও দীর্ঘ সময় ধরে "চিন্তা" করতে এবং আরও সমাধান অন্বেষণ করতে সক্ষম করে, যা এন্টারপ্রাইজ গ্রহণকে প্রভাবিত করে এমন একটি প্রধান বাধা দূর করতে পারে।
একই সাথে, vdb নামে একটি হেডার-ওনলি C লাইব্রেরি তৈরি করা হয়েছে, যা উচ্চ-মাত্রিক ভেক্টর এম্বেডিংগুলি দক্ষতার সাথে সংরক্ষণ এবং অনুসন্ধান করতে পারে। Hacker News-এ বিস্তারিতভাবে বলা হয়েছে, এই লাইব্রেরি একাধিক দূরত্ব মেট্রিক (কোসাইন, ইউক্লিডিয়ান, ডট প্রোডাক্ট), ঐচ্ছিকভাবে মাল্টিথ্রেডিং সমর্থন এবং ডিস্ক থেকে ডেটাবেস সংরক্ষণ ও লোড করার ক্ষমতা প্রদান করে। লাইব্রেরিটি হালকা ওজনের করে ডিজাইন করা হয়েছে, মাল্টিথ্রেডিংয়ের জন্য pthreads ছাড়া এর আর কোনো নির্ভরতা নেই।
vdb লাইব্রেরিটি একটি একক হেডার ফাইল, vdb.h-এ প্রয়োগ করা হয়েছে। এটি ব্যবহারের জন্য হেডার ফাইলটি অন্তর্ভুক্ত করতে হবে এবং একটি C কম্পাইলারের সাথে কম্পাইল করতে হবে। লাইব্রেরিটি ব্যবহারকারীদের একটি ডেটাবেস তৈরি করতে, ভেক্টর যোগ করতে এবং বিভিন্ন দূরত্ব মেট্রিক ব্যবহার করে অনুরূপ ভেক্টর অনুসন্ধান করতে দেয়। Hacker News-এ উল্লেখ করা হয়েছে, পাইথন বাইন্ডিংও উপলব্ধ।
DMS এবং vdb-এর সংমিশ্রণ LLM-এর খরচ কমানো এবং কর্মক্ষমতা উন্নত করার জন্য একটি প্রতিশ্রুতিশীল সমাধান সরবরাহ করে। KV ক্যাশে সংকুচিত করে এবং একটি দক্ষ ভেক্টর ডেটাবেস সরবরাহ করার মাধ্যমে, এনভিডিয়া LLM-গুলিকে আরও অ্যাক্সেসযোগ্য এবং বিস্তৃত অ্যাপ্লিকেশনগুলির জন্য ব্যবহারিক করে তোলার লক্ষ্য রাখছে।
Discussion
AI Experts & Community
Be the first to comment