অনেক কোম্পানি তাদের বৃহৎ ভাষা মডেল (এলএলএম) অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেসের (এপিআই) বিল অপ্রত্যাশিতভাবে বাড়তে দেখছে, যার ফলে সাশ্রয়ী সমাধানের খোঁজ শুরু হয়েছে। শ্রীনিবাস রেড্ডি হুলেবেদু রেড্ডি, সম্প্রতি কোয়েরি লগ বিশ্লেষণের মাধ্যমে জানতে পেরেছেন যে এলএলএম এপিআই-এর ব্যয়ের একটি বড় অংশ ব্যবহারকারীদের একই প্রশ্ন ভিন্নভাবে করার কারণে হয়েছে।
রেড্ডি দেখেন যে তার এলএলএম অ্যাপ্লিকেশনের ট্র্যাফিক বাড়ার সাথে সাথে এপিআই বিল প্রতি মাসে ৩০% হারে বাড়ছে, যা বহন করা কঠিন। তিনি ব্যাখ্যা করেন যে ব্যবহারকারীরা শব্দার্থগতভাবে একই রকম প্রশ্ন করছেন, যেমন "আপনাদের রিটার্ন পলিসি কী?", "আমি কীভাবে কিছু ফেরত দেব?", এবং "আমি কি রিফান্ড পেতে পারি?", এই সবগুলোকেই এলএলএম স্বতন্ত্র অনুরোধ হিসেবে প্রক্রিয়া করছে, যার প্রতিটির জন্য সম্পূর্ণ এপিআই খরচ লাগছে।
ঐতিহ্যবাহী, হুবহু-মিল ক্যাশিং, যা ক্যাশ কী হিসাবে কোয়েরি টেক্সট ব্যবহার করে, এই সমস্যা সমাধানে অকার্যকর প্রমাণিত হয়েছে। রেড্ডি বলেন, "হুবহু-মিল ক্যাশিং এই ধরনের অপ্রয়োজনীয় কলের মধ্যে মাত্র ১৮টি ধরেছে।" "একই প্রশ্ন, ভিন্নভাবে করা হলে, ক্যাশকে সম্পূর্ণভাবে এড়িয়ে যায়।"
এর মোকাবিলা করতে, রেড্ডি শব্দার্থিক ক্যাশিং প্রয়োগ করেছেন, যা কোয়েরিগুলোর হুবহু শব্দের পরিবর্তে তাদের অর্থের উপর মনোযোগ দেয়। এই পদ্ধতির ফলে ক্যাশ হিট রেটের উল্লেখযোগ্য উন্নতি হয়েছে, যা ৬৭%-এ পৌঁছেছে এবং শেষ পর্যন্ত এলএলএম এপিআই খরচ ৭৩% কমিয়েছে। শব্দার্থিক ক্যাশিং শব্দার্থগতভাবে অনুরূপ কোয়েরিগুলোর সাড়া চিহ্নিত করে এবং সংরক্ষণ করে, যা সিস্টেমকে এলএলএম-কে আবার জিজ্ঞাসা না করে ক্যাশ করা সাড়া পুনরুদ্ধার করতে দেয়।
এখানে চ্যালেঞ্জ হল কোয়েরিগুলোর মধ্যে শব্দার্থিক মিল সঠিকভাবে নির্ধারণ করা। সরল প্রয়োগগুলো প্রায়শই ভাষার সূক্ষ্মতা এবং ব্যবহারকারীর উদ্দেশ্য ক্যাপচার করতে ব্যর্থ হয়। এই সীমাবদ্ধতাগুলো কাটিয়ে উঠতে এম্বেডিং মডেল এবং সিমিলারিটি মেট্রিকের মতো উন্নত কৌশল ব্যবহার করা হয়।
শব্দার্থিক ক্যাশিংয়ের প্রভাব খরচ সাশ্রয়ের বাইরেও বিস্তৃত। এপিআই কলের সংখ্যা কমানোর মাধ্যমে, এটি এলএলএম অ্যাপ্লিকেশনগুলোর কর্মক্ষমতা এবং প্রতিক্রিয়াশীলতাও উন্নত করতে পারে। উপরন্তু, এটি কম্পিউটেশনাল রিসোর্সের আরও দক্ষ ব্যবহার নিশ্চিত করে, যা স্থায়িত্বের লক্ষ্যের সাথে সঙ্গতিপূর্ণ।
যেহেতু এলএলএমগুলি গ্রাহক পরিষেবা চ্যাটবট থেকে শুরু করে কন্টেন্ট তৈরির সরঞ্জাম পর্যন্ত বিভিন্ন অ্যাপ্লিকেশনে ক্রমবর্ধমানভাবে একত্রিত হচ্ছে, তাই শব্দার্থিক ক্যাশিংয়ের মতো দক্ষ খরচ ব্যবস্থাপনার কৌশলগুলোর প্রয়োজনীয়তা বাড়তেই থাকবে। শব্দার্থিক ক্যাশিং কৌশলগুলোর উন্নয়ন এবং পরিমার্জন কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে চলমান গবেষণা এবং উন্নয়নের বিষয়।
Discussion
Join the conversation
Be the first to comment