تشهد العديد من الشركات ارتفاعًا غير متوقع في فواتيرها الخاصة بواجهات برمجة تطبيقات (APIs) نماذج اللغة الكبيرة (LLM)، مما أدى إلى البحث عن حلول فعالة من حيث التكلفة. اكتشف سرينيفاسا ريدي هوليبيدو ريدي، في تحليل حديث لسجلات الاستعلامات، أن جزءًا كبيرًا من تكاليف واجهة برمجة تطبيقات LLM ناتج عن طرح المستخدمين نفس الأسئلة بطرق مختلفة.

وجد ريدي أنه في حين أن حركة المرور إلى تطبيق LLM الخاص به كانت في ازدياد، إلا أن فاتورة واجهة برمجة التطبيقات كانت تنمو بمعدل غير مستدام قدره 30٪ شهريًا. وأوضح أن المستخدمين كانوا يرسلون استعلامات متطابقة دلاليًا، مثل "ما هي سياسة الإرجاع الخاصة بك؟" و "كيف يمكنني إرجاع شيء ما؟" و "هل يمكنني استرداد أموالي؟"، والتي تمت معالجتها جميعًا كطلبات فريدة من قبل LLM، يتحمل كل منها التكلفة الكاملة لواجهة برمجة التطبيقات.

ثبت أن التخزين المؤقت التقليدي المطابق تمامًا، والذي يستخدم نص الاستعلام كمفتاح ذاكرة التخزين المؤقت، غير فعال في معالجة هذا التكرار. صرح ريدي: "التقط التخزين المؤقت المطابق تمامًا 18 مكالمة فقط من هذه المكالمات الزائدة". "السؤال الدلالي نفسه، بصياغة مختلفة، تجاوز ذاكرة التخزين المؤقت تمامًا."

لمكافحة ذلك، قام ريدي بتطبيق التخزين المؤقت الدلالي، وهي تقنية تركز على معنى الاستعلامات بدلاً من صياغتها الدقيقة. أدى هذا النهج إلى تحسن كبير في معدل الوصول إلى ذاكرة التخزين المؤقت، حيث وصل إلى 67٪، وفي النهاية خفض تكاليف واجهة برمجة تطبيقات LLM بنسبة 73٪. يحدد التخزين المؤقت الدلالي ويخزن الاستجابات للاستعلامات المتشابهة دلاليًا، مما يسمح للنظام باسترداد الاستجابة المخزنة مؤقتًا بدلاً من الاستعلام عن LLM مرة أخرى.

يكمن التحدي في تحديد التشابه الدلالي بين الاستعلامات بدقة. غالبًا ما تقصر التطبيقات الساذجة في التقاط الفروق الدقيقة في اللغة ونية المستخدم. يتم استخدام التقنيات المتقدمة، مثل نماذج التضمين ومقاييس التشابه، للتغلب على هذه القيود.

تتجاوز آثار التخزين المؤقت الدلالي توفير التكاليف. من خلال تقليل عدد مكالمات واجهة برمجة التطبيقات، يمكنه أيضًا تحسين أداء واستجابة تطبيقات LLM. علاوة على ذلك، فإنه يساهم في الاستخدام الأكثر كفاءة للموارد الحسابية، بما يتماشى مع أهداف الاستدامة.

مع تزايد دمج LLMs في مختلف التطبيقات، من روبوتات خدمة العملاء إلى أدوات إنشاء المحتوى، ستستمر الحاجة إلى استراتيجيات إدارة التكلفة الفعالة مثل التخزين المؤقت الدلالي في النمو. يعد تطوير وتحسين تقنيات التخزين المؤقت الدلالي من المجالات المستمرة للبحث والتطوير في مجال الذكاء الاصطناعي.