এনভিডিয়া গবেষকরা একটি নতুন ভেক্টর ডাটাবেস লাইব্রেরি, "vdb", এবং ডাইনামিক মেমরি স্পার্সিফিকেশন (DMS) নামে একটি কৌশল তৈরি করেছেন। একাধিক প্রতিবেদন অনুসারে, এই দুটি প্রযুক্তি একসাথে বৃহৎ ভাষা মডেলের (LLM) খরচ আট গুণ পর্যন্ত কমাতে পারে। উদ্ভাবনগুলির লক্ষ্য হল মেমরি সীমাবদ্ধতাগুলি সমাধান করা এবং LLM-এর মধ্যে জটিল ডেটা পরিচালনার দক্ষতা বৃদ্ধি করা।
vdb লাইব্রেরি হল একটি হালকা ওজনের, শুধুমাত্র হেডার-যুক্ত C লাইব্রেরি, যা উচ্চ-মাত্রিক ভেক্টর এম্বেডিংগুলি দক্ষতার সাথে সংরক্ষণ এবং অনুসন্ধান করার জন্য ডিজাইন করা হয়েছে। এটি একাধিক দূরত্ব মেট্রিক (কোসাইন, ইউক্লিডিয়ান, ডট প্রোডাক্ট), ঐচ্ছিকভাবে মাল্টিথ্রেডিং সমর্থন এবং ডিস্ক থেকে ডাটাবেস সংরক্ষণ ও লোড করার ক্ষমতা প্রদান করে। মাল্টিথ্রেডিং সক্রিয় করা না হলে, লাইব্রেরিটির pthreads ছাড়া অন্য কোনো নির্ভরতা নেই। পাইথন বাইন্ডিংও উপলব্ধ। "vdb হল উচ্চ-মাত্রিক ভেক্টর এম্বেডিংগুলি দক্ষতার সাথে সংরক্ষণ এবং অনুসন্ধানের জন্য একটি হালকা ওজনের C লাইব্রেরি," একটি সূত্র উল্লেখ করেছে।
একই সময়ে, এনভিডিয়া গবেষকরা ডাইনামিক মেমরি স্পার্সিফিকেশন (DMS) তৈরি করেছেন, যা বৃহৎ ভাষা মডেলগুলিতে কী-ভ্যালু (KV) ক্যাশকে সংকুচিত করে। এই সংকোচন LLM-গুলিকে গতি না কমিয়ে আরও তথ্য প্রক্রিয়া করতে দেয়। KV ক্যাশ LLM-এর একটি গুরুত্বপূর্ণ উপাদান, যা মডেলের অতীতের মিথস্ক্রিয়া সম্পর্কে তথ্য সংরক্ষণ করে। এই ক্যাশ সংকুচিত করার মাধ্যমে, মডেলগুলির মেমরি ব্যবহারের পরিমাণ উল্লেখযোগ্যভাবে কমানো যেতে পারে।
DMS এবং vdb-এর সংমিশ্রণ বৃহৎ ভাষা মডেলগুলি চালানোর সাথে সম্পর্কিত দক্ষতা বৃদ্ধি এবং খরচ কমানোর জন্য একটি ব্যাপক সমাধান সরবরাহ করে। vdb-এর উন্নয়ন ভেক্টর এম্বেডিংগুলি পরিচালনা করার জন্য একটি সুবিন্যস্ত পদ্ধতি সরবরাহ করে, যেখানে DMS প্রায়শই LLM-এর কর্মক্ষমতা সীমিত করে এমন মেমরি সীমাবদ্ধতাগুলি সমাধান করে। "এই উদ্ভাবনগুলি বৃহৎ ভাষা মডেলগুলিতে মেমরি সীমাবদ্ধতাগুলি সমাধান করে এবং জটিল ডেটা পরিচালনার ক্ষেত্রে উন্নত দক্ষতা প্রদান করে," একটি সূত্র জানিয়েছে।
খরচ সাশ্রয় কীভাবে অর্জিত হয় এবং নির্দিষ্ট কর্মক্ষমতা উন্নতিগুলি কী, তার সঠিক বিবরণ এখনও সম্পূর্ণরূপে উপলব্ধ নয়। তবে, খরচ আট গুণ কমানোর খবর LLM বিকাশের ক্ষেত্রে একটি উল্লেখযোগ্য অগ্রগতির ইঙ্গিত দেয়। এই নতুন প্রযুক্তিগুলির প্রভাব সম্পূর্ণরূপে বুঝতে আরও গবেষণা এবং পরীক্ষা-নিরীক্ষা সম্ভবত করা হবে।
Discussion
AI Experts & Community
Be the first to comment