وفقًا لـ "سرينيفاسا ريدي هوليبييدو ريدي"، وهو مطور تطبيقات ذكاء اصطناعي، تشهد العديد من الشركات ارتفاعًا كبيرًا في فواتيرها الخاصة بواجهات برمجة تطبيقات (APIs) نماذج اللغة الكبيرة (LLM)، بسبب طرح المستخدمين لنفس الأسئلة بطرق مختلفة. اكتشف "ريدي" أن المستخدمين غالبًا ما يعيدون صياغة نفس الأسئلة، مما يتسبب في إجراء مكالمات زائدة إلى نماذج اللغة الكبيرة (LLM) وتحمل تكاليف غير ضرورية لواجهات برمجة التطبيقات (APIs).

كشف تحليل "ريدي" لسجلات الاستعلامات أن المستخدمين كانوا يطرحون أسئلة مثل "ما هي سياسة الإرجاع الخاصة بكم؟" و "كيف يمكنني إرجاع شيء ما؟" و "هل يمكنني استرداد أموالي؟" بشكل منفصل، حيث ينتج كل منها استجابات متطابقة تقريبًا ويتكبد تكاليف كاملة لواجهات برمجة التطبيقات (APIs). ثبت أن التخزين المؤقت التقليدي المطابق تمامًا، والذي يستخدم نص الاستعلام كمفتاح ذاكرة التخزين المؤقت، غير فعال، حيث لم يلتقط سوى 18٪ من هذه المكالمات الزائدة. أوضح "ريدي": "إن نفس السؤال الدلالي، الذي تمت صياغته بشكل مختلف، تجاوز ذاكرة التخزين المؤقت تمامًا".

لمعالجة ذلك، قام "ريدي" بتطبيق التخزين المؤقت الدلالي، وهي تقنية تركز على معنى الاستعلامات بدلاً من صياغتها الدقيقة. يحلل التخزين المؤقت الدلالي النية الكامنة وراء السؤال ويسترجع الإجابة من ذاكرة التخزين المؤقت إذا تمت معالجة استعلام مشابه دلاليًا بالفعل. بعد تطبيق التخزين المؤقت الدلالي، أفاد "ريدي" بزيادة معدل الوصول إلى ذاكرة التخزين المؤقت إلى 67٪، مما أدى إلى انخفاض بنسبة 73٪ في تكاليف واجهات برمجة تطبيقات (APIs) نماذج اللغة الكبيرة (LLM).

يكمن التحدي الأساسي في التخزين المؤقت التقليدي في اعتماده على التطابقات التامة. كما أوضح "ريدي"، يستخدم التخزين المؤقت التقليدي تجزئة لنص الاستعلام كمفتاح لذاكرة التخزين المؤقت. إذا كان المفتاح موجودًا في ذاكرة التخزين المؤقت، فسيتم إرجاع الاستجابة المخزنة مؤقتًا؛ وإلا، تتم معالجة الاستعلام بواسطة نموذج اللغة الكبير (LLM). يفشل هذا النهج عندما يصوغ المستخدمون الأسئلة بشكل مختلف، حتى لو كان المعنى الكامن هو نفسه.

يمثل التخزين المؤقت الدلالي تقدمًا كبيرًا في تحسين استخدام واجهات برمجة تطبيقات (APIs) نماذج اللغة الكبيرة (LLM). من خلال فهم المعنى الدلالي للاستعلامات، يمكنه تقليل المكالمات الزائدة بشكل كبير وخفض التكاليف. ومع ذلك، يتطلب تطبيق التخزين المؤقت الدلالي بشكل فعال دراسة متأنية لعوامل مختلفة، بما في ذلك اختيار خوارزميات التشابه الدلالي وإدارة إبطال ذاكرة التخزين المؤقت. يسلط هذا التطوير الضوء على أهمية تجاوز حلول التخزين المؤقت البسيطة القائمة على النصوص إلى طرق أكثر تطوراً تفهم الفروق الدقيقة في اللغة البشرية.