ডিপসিকের "কন্ডিশনাল মেমরি" নিয়ে গবেষণা বৃহৎ ভাষা মডেলগুলোতে (এলএলএম) স্ট্যাটিক তথ্য অ্যাক্সেস করার সময় জিপিইউ কম্পিউটেশনের অদক্ষ ব্যবহারকে মোকাবিলা করার লক্ষ্য রাখে। নতুন প্রকাশিত গবেষণাটি এংগ্রাম নামক একটি মডিউল উপস্থাপন করে, যা ডাইনামিক যুক্তির থেকে স্ট্যাটিক প্যাটার্ন পুনরুদ্ধারকে আলাদা করার জন্য ডিজাইন করা হয়েছে, যা উল্লেখযোগ্য পরিমাণে কম্পিউটেশনাল রিসোর্স সাশ্রয় করতে পারে।
গবেষণা অনুসারে, এন্টারপ্রাইজ এলএলএমগুলি প্রায়শই জটিল যুক্তির জন্য ডিজাইন করা ব্যয়বহুল জিপিইউ কম্পিউটেশন ব্যবহার করে, শুধুমাত্র স্ট্যাটিক তথ্য যেমন পণ্যের নাম, প্রযুক্তিগত স্পেসিফিকেশন বা স্ট্যান্ডার্ড চুক্তির ধারা পুনরুদ্ধার করতে। এই লুকআপগুলি প্রতিদিন লক্ষ লক্ষ বার ঘটে, যা কম্পিউটেশনাল চক্র নষ্ট করে এবং অবকাঠামো খরচ বাড়িয়ে তোলে। ডিপসিক দলের সদস্য এবং সহ-লেখক ও প্রতিষ্ঠাতা লিয়াং ওয়েনফেং এই প্রক্রিয়াটিকে অপ্টিমাইজ করার চেষ্টা করেছিলেন।
সু systematicভাবে পরীক্ষা-নিরীক্ষার মাধ্যমে, ডিপসিক নির্ধারণ করেছে যে স্পার্স মডেলের ক্ষমতার ৭৫% ডাইনামিক যুক্তির জন্য এবং ২৫% স্ট্যাটিক লুকআপের জন্য বরাদ্দ করলে কম্পিউটেশন এবং মেমরির মধ্যে একটি অনুকূল ভারসাম্য তৈরি হয়। ফলাফলগুলো ইঙ্গিত দেয় যে এই মেমরি সিস্টেম জ্ঞান পুনরুদ্ধারের চেয়ে যুক্তিবোধের ক্ষমতাকে উল্লেখযোগ্যভাবে উন্নত করেছে। বিগ-বেঞ্চ হার্ড ব্যবহার করে পরিমাপ করা জটিল যুক্তির বেঞ্চমার্ক স্কোর ৭০% থেকে বেড়ে ৭৪% হয়েছে, যেখানে জ্ঞান-ভিত্তিক পরীক্ষাগুলোর স্কোর ৫৭% থেকে ৬১% এ উন্নীত হয়েছে।
এই গবেষণার তাৎপর্য কেবল দক্ষতা বৃদ্ধির বাইরেও বিস্তৃত। এলএলএমগুলি কীভাবে তথ্য অ্যাক্সেস এবং প্রক্রিয়া করে তা অপ্টিমাইজ করার মাধ্যমে, ডিপসিকের কাজটি নিউরাল নেটওয়ার্কে স্মৃতির ভূমিকা সম্পর্কে মৌলিক অনুমানকে চ্যালেঞ্জ করে। এংগ্রাম মডিউল মেমরি বরাদ্দের জন্য আরও সূক্ষ্ম পদ্ধতির সুযোগ তৈরি করে, যা সম্ভবত আরও দক্ষ এবং শক্তিশালী এআই সিস্টেমের পথ প্রশস্ত করতে পারে।
এই উন্নয়ন এমন এক সময়ে এসেছে যখন বৃহৎ ভাষা মডেলগুলোর শক্তি খরচ এবং পরিবেশগত প্রভাব ক্রমবর্ধমান সমালোচনার মুখে। স্ট্যাটিক তথ্য পুনরুদ্ধারের সাথে সম্পর্কিত কম্পিউটেশনাল ওভারহেড হ্রাস করে, ডিপসিকের কন্ডিশনাল মেমরি অ্যাপ্রোচ আরও টেকসই এআই বিকাশে অবদান রাখতে পারে। বিভিন্ন এলএলএম আর্কিটেকচার এবং অ্যাপ্লিকেশন জুড়ে এংগ্রামের মাপযোগ্যতা এবং সাধারণীকরণ অন্বেষণ করার জন্য আরও গবেষণা প্রয়োজন।
Discussion
Join the conversation
Be the first to comment