এনভিডিয়া গবেষকরা একটি নতুন কৌশল, ডাইনামিক মেমরি স্পার্সিফিকেশন (DMS), এবং vdb নামক একটি হালকা ওজনের C লাইব্রেরি তৈরি করেছেন, যা একসাথে বৃহৎ ভাষা মডেলের (LLM) খরচ আট গুণ কমিয়েছে, একাধিক প্রতিবেদন অনুসারে। এই যুগান্তকারী উদ্ভাবন LLM-গুলিকে গতি বা নির্ভুলতা ত্যাগ না করে আরও বেশি তথ্য প্রক্রিয়া করতে দেয়, যা সম্ভাব্যভাবে বাস্তব-বিশ্বের অ্যাপ্লিকেশন এবং এন্টারপ্রাইজ গ্রহণকে ত্বরান্বিত করবে।
DMS কৌশল LLM-এর মধ্যে কী ভ্যালু (KV) ক্যাশে সংকুচিত করে, যা তাদের মেমরির চাহিদা উল্লেখযোগ্যভাবে হ্রাস করে। একই সাথে, vdb লাইব্রেরি তৈরি করা হয়েছিল উচ্চ-মাত্রিক ভেক্টর এম্বেডিংগুলি দক্ষতার সাথে সংরক্ষণ এবং অনুসন্ধান করার জন্য। Vdb হল একটি হেডার-অনলি C লাইব্রেরি যাতে একাধিক দূরত্ব মেট্রিক (কোসাইন, ইউক্লিডিয়ান, ডট প্রোডাক্ট) এবং ঐচ্ছিকভাবে মাল্টিথ্রেডিং সমর্থন রয়েছে। এটি কাস্টম মেমরি অ্যালোকেটর সমর্থন করে এবং পাইথন বাইন্ডিং অফার করে।
প্রতিবেদন অনুসারে, DMS এবং vdb-এর উন্নয়ন LLM-এর ব্যাপক ব্যবহারে বাধা সৃষ্টিকারী একটি প্রধান গণনাকারী বাধা দূর করে। এই উদ্ভাবনগুলির ফলস্বরূপ আরও দীর্ঘ সময় ধরে "চিন্তা" করার এবং আরও সমাধানগুলি অন্বেষণ করার ক্ষমতা একটি উল্লেখযোগ্য অগ্রগতি।
উৎস উপাদানগুলিতে বর্ণিত vdb লাইব্রেরি, একটি একক-ফাইল বাস্তবায়ন, যা এটিকে সহজে একত্রিত করতে সাহায্য করে। এর বৈশিষ্ট্যগুলির মধ্যে রয়েছে ডিস্ক থেকে এবং ডিস্কে ডেটাবেস সংরক্ষণ এবং লোড করার ক্ষমতা। মাল্টিথ্রেডিং সক্রিয় করা হলে pthreads ছাড়া লাইব্রেরির অন্য কোনো নির্ভরতা নেই।
যদিও এই প্রযুক্তিগুলির উন্নয়ন এবং প্রকাশের নির্দিষ্ট তারিখ উৎস উপাদানে দেওয়া হয়নি, প্রতিবেদনগুলি LLM ল্যান্ডস্কেপে এর সম্ভাব্য প্রভাবের উপর আলোকপাত করে। DMS এবং vdb-এর সংমিশ্রণ LLM-এর খরচ কমাতে এবং কর্মক্ষমতা উন্নত করতে একটি প্রতিশ্রুতিশীল সমাধান সরবরাহ করে, যা বিভিন্ন শিল্পে বৃহত্তর গ্রহণের পথ সুগম করে।
Discussion
AI Experts & Community
Be the first to comment