এনভিডিয়া গবেষকরা বৃহৎ ভাষা মডেলের (এলএলএম) মেমরি চাহিদা উল্লেখযোগ্যভাবে হ্রাস করার জন্য একটি নতুন কৌশল তৈরি করেছেন, যা সম্ভবত এই প্রযুক্তির বৃহত্তর ব্যবহারের পথ খুলে দেবে। নতুন পদ্ধতিটি, ডাইনামিক মেমরি স্পার্সিফিকেশন (ডিএমএস) নামে পরিচিত, কী ভ্যালু (কেভি) ক্যাশকে সংকুচিত করে, যার ফলে এলএলএম খরচ আটগুণ পর্যন্ত হ্রাস হয়, সেইসাথে নির্ভুলতাও বজায় থাকে, এমনটাই জানা গেছে।
ডিএমএস কৌশলটি এলএলএম-কে আরও দক্ষতার সাথে তথ্য প্রক্রিয়া করতে দেয়, যা তাদের গতি বা বুদ্ধিমত্তা ত্যাগ না করে আরও দীর্ঘ সময় ধরে "চিন্তা" করতে এবং আরও সমাধানগুলি অন্বেষণ করতে সক্ষম করে। এটি একটি গুরুত্বপূর্ণ গণনামূলক বাধা দূর করে যা এলএলএম-এর বাস্তব-বিশ্ব প্রয়োগ এবং এন্টারপ্রাইজ গ্রহণকে বাধাগ্রস্ত করেছে। এই উদ্ভাবন বিভিন্ন অ্যাপ্লিকেশনের জন্য আরও সহজলভ্য এবং সাশ্রয়ী এলএলএম সমাধান তৈরি করতে পারে।
সম্পর্কিত খবরে, হালকা ওজনের সরঞ্জামগুলির বিকাশ এআই প্রযুক্তির অগ্রগতিকে সমর্থন করে চলেছে। "vdb" নামে একটি হেডার-অনলি সি লাইব্রেরি GitHub-এ প্রকাশিত হয়েছে। abdimoallim দ্বারা তৈরি করা লাইব্রেরিটি উচ্চ-মাত্রিক ভেক্টর এম্বেডিংগুলি সংরক্ষণ এবং অনুসন্ধান করার জন্য ডিজাইন করা হয়েছে। এটি একাধিক দূরত্ব মেট্রিক্স, ঐচ্ছিকভাবে মাল্টিথ্রেডিং সমর্থন এবং কাস্টম মেমরি অ্যালোকেটর সমর্থন এর মতো বৈশিষ্ট্য সরবরাহ করে। লাইব্রেরিটি একটি একক-ফাইল বাস্তবায়ন, যা প্রকল্পগুলিতে সংহত করা সহজ করে তোলে।
vdb লাইব্রেরি ডেভেলপারদের ভেক্টর ডাটাবেস তৈরি করতে দেয়, যা সাদৃশ্য অনুসন্ধান এবং সুপারিশ সিস্টেমের মতো কাজের জন্য গুরুত্বপূর্ণ। লাইব্রেরির হেডার-অনলি প্রকৃতি ইন্টিগ্রেশনকে সহজ করে তোলে এবং এর ঐচ্ছিক মাল্টিথ্রেডিং ক্ষমতা কর্মক্ষমতা উন্নত করতে পারে। লাইব্রেরি কোসাইন, ইউক্লিডিয়ান এবং ডট প্রোডাক্ট দূরত্ব মেট্রিক্স সমর্থন করে।
এনভিডিয়ার ডিএমএস কৌশল এবং vdb-এর মতো সরঞ্জামগুলির উপলব্ধির সমন্বয় এআই প্রযুক্তিকে অপটিমাইজ এবং গণতান্ত্রিক করার চলমান প্রচেষ্টাগুলিকে তুলে ধরে। যেখানে এনভিডিয়ার ডিএমএস এলএলএম চালানোর গণনামূলক খরচ কমানোর উপর দৃষ্টি নিবদ্ধ করে, সেখানে vdb ভেক্টর এম্বেডিংগুলি পরিচালনা করার জন্য একটি হালকা ওজনের সমাধান সরবরাহ করে, যা অনেক এআই অ্যাপ্লিকেশনের একটি মূল উপাদান।
Discussion
AI Experts & Community
Be the first to comment