অনেক কোম্পানি তাদের বৃহৎ ভাষা মডেল (এলএলএম) অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস (এপিআই)-এর বিল দ্রুত বাড়তে দেখছে, যার ফলে সাশ্রয়ী সমাধানের খোঁজ শুরু হয়েছে। শ্রীনিবাস রেড্ডি হুলেবেডু রেড্ডি, সাম্প্রতিক এক বিশ্লেষণে লিখেছেন, এই খরচগুলির একটি উল্লেখযোগ্য অংশ ব্যবহারকারীদের একই প্রশ্ন বিভিন্নভাবে করার কারণে হয়ে থাকে।

রেড্ডি লক্ষ্য করেছেন যে তার কোম্পানির এলএলএম এপিআই বিল মাসে ৩০% বৃদ্ধি পেয়েছে, যদিও একই হারে ট্র্যাফিক বাড়েনি। কোয়েরি লগ বিশ্লেষণ করে দেখা গেছে যে ব্যবহারকারীরা বিভিন্ন শব্দ ব্যবহার করে শব্দার্থিকভাবে অভিন্ন প্রশ্ন করছেন। উদাহরণস্বরূপ, "আপনার রিটার্ন পলিসি কী?", "আমি কীভাবে কিছু ফেরত দেব?", এবং "আমি কি রিফান্ড পেতে পারি?" এই ধরনের প্রশ্নগুলি এলএলএম-কে আলাদাভাবে ট্রিগার করে, যার প্রত্যেকটিতে সম্পূর্ণ এপিআই খরচ হয়।

ঐতিহ্যবাহী, হুবহু-মিল ক্যাশিং, যা ক্যাশে কী হিসাবে কোয়েরি টেক্সট ব্যবহার করে, এই সমস্যা সমাধানে অকার্যকর প্রমাণিত হয়েছে। রেড্ডি দেখেছেন যে হুবহু-মিল ক্যাশিং এই ধরনের অপ্রয়োজনীয় কলের মধ্যে মাত্র ১৮টি ধরেছে, কারণ শব্দচয়নের সামান্য ভিন্নতা ক্যাশেটিকে সম্পূর্ণরূপে এড়িয়ে গেছে।

এর মোকাবিলা করতে, রেড্ডি শব্দার্থিক ক্যাশিং প্রয়োগ করেছেন, এমন একটি কৌশল যা কোয়েরিগুলির হুবহু শব্দের চেয়ে তাদের অর্থের উপর দৃষ্টি নিবদ্ধ করে। এই পদ্ধতি ক্যাশে হিট রেট ৬৭%-এ উন্নীত করেছে, যার ফলে এলএলএম এপিআই খরচ ৭৩% হ্রাস পেয়েছে। শব্দার্থিক ক্যাশিং একটি কোয়েরির অন্তর্নিহিত উদ্দেশ্য সনাক্ত করে এবং শব্দচয়নের ভিন্নতা থাকলেও ক্যাশে থেকে সংশ্লিষ্ট প্রতিক্রিয়া পুনরুদ্ধার করে।

এলএলএম এপিআই খরচের বৃদ্ধি এআইকে তাদের কর্মপ্রবাহে সংহত করা ব্যবসাগুলির জন্য একটি ক্রমবর্ধমান উদ্বেগের কারণ। এলএলএম যত বেশি প্রচলিত হচ্ছে, খরচ দক্ষতা বজায় রাখার জন্য এপিআই ব্যবহার অপ্টিমাইজ করা অত্যন্ত গুরুত্বপূর্ণ। শব্দার্থিক ক্যাশিং একটি প্রতিশ্রুতিশীল সমাধান, তবে এর সফল বাস্তবায়নের জন্য ভাষা এবং ব্যবহারকারীর আচরণের সূক্ষ্ম বিষয়গুলির যত্ন সহকারে বিবেচনা করা প্রয়োজন। রেড্ডি উল্লেখ করেছেন যে সরল প্রয়োগগুলি প্রায়শই সমস্যার মূল দিকগুলি ধরতে পারে না। শব্দার্থিক ক্যাশিং কৌশলগুলিতে আরও গবেষণা এবং উন্নয়ন ভবিষ্যতে এলএলএম খরচ ব্যবস্থাপনায় একটি গুরুত্বপূর্ণ ভূমিকা পালন করবে বলে আশা করা হচ্ছে।