শ্রীনিবাস রেড্ডি হুলেবেডু রেড্ডি নামক একজন এআই অ্যাপ্লিকেশন ডেভেলপার জানিয়েছেন, অনেক কোম্পানিই লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেসের (এপিআই) বিল বাড়তে দেখছে, কারণ ব্যবহারকারীরা একই প্রশ্ন ভিন্নভাবে করছেন। রেড্ডি দেখেছেন যে ব্যবহারকারীরা প্রায়শই একই প্রশ্ন অন্যভাবে করছেন, যার ফলে এলএলএম-এ অতিরিক্ত কল যাচ্ছে এবং অপ্রয়োজনীয় এপিআই খরচ হচ্ছে।

রেড্ডির কোয়েরি লগ বিশ্লেষণের মাধ্যমে জানা গেছে যে ব্যবহারকারীরা আলাদাভাবে প্রশ্ন করছেন যেমন "আপনাদের রিটার্ন পলিসি কী?", "আমি কীভাবে কিছু ফেরত দিতে পারি?" এবং "আমি কি রিফান্ড পেতে পারি?", যার প্রত্যেকটি প্রায় একই উত্তর তৈরি করছে এবং সম্পূর্ণ এপিআই খরচ হচ্ছে। সনাতন, হুবহু-মিল ক্যাশিং, যা কোয়েরি টেক্সটকে ক্যাশ কী হিসাবে ব্যবহার করে, তা এই অতিরিক্ত কলগুলির মধ্যে মাত্র ১৮% ধরতে পারায় অকার্যকর প্রমাণিত হয়েছে। রেড্ডি ব্যাখ্যা করেছেন, "একই ধরনের প্রশ্ন, ভিন্নভাবে বলা হলে, ক্যাশকে সম্পূর্ণরূপে এড়িয়ে যায়।"

এই সমস্যা সমাধানের জন্য, রেড্ডি শব্দার্থিক ক্যাশিং প্রয়োগ করেছেন, যা প্রশ্নের সঠিক শব্দচয়নের চেয়ে অর্থের উপর বেশি মনোযোগ দেয়। শব্দার্থিক ক্যাশিং একটি প্রশ্নের অন্তর্নিহিত উদ্দেশ্য বিশ্লেষণ করে এবং যদি শব্দার্থগতভাবে অনুরূপ কোনো প্রশ্ন এর আগে প্রক্রিয়া করা হয়ে থাকে, তবে ক্যাশ থেকে উত্তর পুনরুদ্ধার করে। শব্দার্থিক ক্যাশিং প্রয়োগ করার পরে, রেড্ডি ক্যাশ হিট রেট ৬৭% বৃদ্ধি পাওয়ার কথা জানিয়েছেন, যার ফলে এলএলএম এপিআই খরচ ৭৩% হ্রাস পেয়েছে।

ঐতিহ্যবাহী ক্যাশিংয়ের মূল সমস্যা হল এটি হুবহু মিলের উপর নির্ভর করে। রেড্ডি যেমন দেখিয়েছেন, ঐতিহ্যবাহী ক্যাশিং ক্যাশ কী হিসাবে কোয়েরি টেক্সটের হ্যাশ ব্যবহার করে। যদি ক্যাশে কীটি থাকে, তবে ক্যাশ করা প্রতিক্রিয়া ফেরত দেওয়া হয়; অন্যথায়, কোয়েরিটি এলএলএম দ্বারা প্রক্রিয়া করা হয়। ব্যবহারকারীরা ভিন্নভাবে প্রশ্ন করলে এই পদ্ধতিটি ব্যর্থ হয়, এমনকি যদি অন্তর্নিহিত অর্থ একই থাকে।

শব্দার্থিক ক্যাশিং এলএলএম এপিআই ব্যবহারের অনুকূলকরণে একটি গুরুত্বপূর্ণ অগ্রগতি। প্রশ্নের শব্দার্থিক অর্থ বোঝার মাধ্যমে, এটি অতিরিক্ত কলগুলিকে ব্যাপকভাবে কমাতে এবং খরচ কমাতে পারে। তবে, কার্যকরভাবে শব্দার্থিক ক্যাশিং প্রয়োগ করার জন্য বিভিন্ন বিষয় বিবেচনা করা প্রয়োজন, যার মধ্যে শব্দার্থিক মিল অ্যালগরিদমের পছন্দ এবং ক্যাশ বাতিলকরণের পরিচালনা অন্যতম। এই উন্নয়ন সহজ, টেক্সট-ভিত্তিক ক্যাশিং সমাধান থেকে আরও অত্যাধুনিক পদ্ধতির দিকে যাওয়ার গুরুত্ব তুলে ধরে যা মানুষের ভাষার সূক্ষ্মতা বুঝতে পারে।