يمكن تخفيض تكاليف واجهات برمجة تطبيقات نماذج اللغة الكبيرة (LLM) بشكل كبير عن طريق تطبيق التخزين المؤقت الدلالي، وفقًا لما ذكره سرينيفاسا ريدي هوليبييدو ريدي، وهو متخصص في تعلم الآلة قام مؤخرًا بتخفيض نفقات LLM لشركته بنسبة 73٪. لاحظ ريدي زيادة شهرية بنسبة 30٪ في فاتورة واجهة برمجة تطبيقات LLM لشركته، على الرغم من عدم زيادة حركة المرور بنفس المعدل. كشف تحليل سجلات الاستعلام أن المستخدمين كانوا يطرحون نفس الأسئلة بطرق مختلفة، مما أدى إلى مكالمات زائدة إلى LLM.

وجد ريدي أن المستخدمين كانوا يطرحون أسئلة متطابقة دلاليًا باستخدام صياغة مختلفة. على سبيل المثال، فإن الاستعلامات مثل "ما هي سياسة الإرجاع الخاصة بك؟" و "كيف يمكنني إرجاع شيء ما؟" و "هل يمكنني استرداد أموالي؟" كلها أدت إلى مكالمات منفصلة إلى LLM، حيث أنتجت كل منها استجابات متطابقة تقريبًا وتكبدت تكاليف واجهة برمجة التطبيقات الكاملة. ثبت أن التخزين المؤقت التقليدي المطابق تمامًا، والذي يستخدم نص الاستعلام كمفتاح ذاكرة التخزين المؤقت، غير فعال، حيث التقط 18٪ فقط من هذه المكالمات الزائدة.

لمعالجة ذلك، قام ريدي بتطبيق التخزين المؤقت الدلالي، الذي يركز على معنى الاستعلامات بدلاً من صياغتها الدقيقة. أدى هذا النهج إلى زيادة معدل الوصول إلى ذاكرة التخزين المؤقت إلى 67٪، مما أدى إلى تخفيض تكاليف واجهة برمجة تطبيقات LLM بنسبة 73٪. أوضح ريدي قائلاً: "لا يصوغ المستخدمون الأسئلة بشكل متطابق"، مسلطًا الضوء على القيود المفروضة على التخزين المؤقت المطابق تمامًا. قام بتحليل 100000 استعلام إنتاج لفهم مدى المشكلة.

يمثل التخزين المؤقت الدلالي تحولًا من طرق التخزين المؤقت التقليدية من خلال استخدام تقنيات لفهم المعنى الكامن وراء الاستعلام. بدلاً من مجرد مقارنة نص الاستعلام، يستفيد التخزين المؤقت الدلالي من معالجة اللغة الطبيعية (NLP) ونماذج تعلم الآلة لتحديد نية وسياق السؤال. يتيح ذلك للنظام التعرف على أن "ما هي سياسة الإرجاع الخاصة بك؟" و "كيف يمكنني إرجاع شيء ما؟" يسألان بشكل أساسي عن نفس الشيء.

تتجاوز آثار التخزين المؤقت الدلالي مجرد توفير التكاليف. من خلال تقليل عدد المكالمات إلى واجهات برمجة تطبيقات LLM، يمكنه أيضًا تحسين أوقات الاستجابة وتقليل الحمل الكلي على النظام. هذا مهم بشكل خاص للتطبيقات التي تتعامل مع حجم كبير من استعلامات المستخدمين. علاوة على ذلك، يمكن أن يساهم التخزين المؤقت الدلالي في استخدام أكثر كفاءة للموارد الحسابية، بما يتماشى مع أهداف الاستدامة الأوسع في صناعة التكنولوجيا.

يتطلب تطوير أنظمة تخزين مؤقت دلالية فعالة دراسة متأنية لعدة عوامل، بما في ذلك اختيار نماذج معالجة اللغة الطبيعية، وتصميم مفتاح ذاكرة التخزين المؤقت، واستراتيجيات التعامل مع الاستعلامات الغامضة أو المعقدة. في حين أن تجربة ريدي توضح الفوائد المحتملة للتخزين المؤقت الدلالي، فقد أشار أيضًا إلى أن تحقيق أفضل النتائج يتطلب حل المشكلات التي تفوتها التطبيقات الساذجة. ستختلف التحديات والحلول المحددة اعتمادًا على التطبيق وخصائص استعلامات المستخدمين.