Viele Unternehmen sehen, wie ihre Rechnungen für Large Language Model (LLM) Application Programming Interfaces (APIs) in die Höhe schnellen, was die Suche nach kosteneffizienten Lösungen anheizt. Srinivas Reddy Hulebeedu Reddy stellte in einer aktuellen Analyse fest, dass ein erheblicher Teil dieser Kosten darauf zurückzuführen ist, dass Benutzer dieselben Fragen auf unterschiedliche Weise stellen.

Reddy beobachtete einen monatlichen Anstieg seiner LLM-API-Rechnung um 30 %, obwohl der Traffic nicht im gleichen Maße zunahm. Die Analyse von Abfrageprotokollen ergab, dass Benutzer semantisch identische Fragen mit unterschiedlichen Formulierungen stellten. Zum Beispiel lösten Abfragen wie "Wie lauten Ihre Rückgabebedingungen?", "Wie kann ich etwas zurückgeben?" und "Kann ich eine Rückerstattung erhalten?" jeweils separate Aufrufe an das LLM aus, die jeweils die vollen API-Kosten verursachten.

Traditionelles Exact-Match-Caching, das den Abfragetext als Cache-Schlüssel verwendet, erwies sich als unwirksam bei der Lösung dieses Problems. Reddy stellte fest, dass Exact-Match-Caching nur 18 dieser redundanten Aufrufe erfasste, da geringfügige Abweichungen in der Formulierung den Cache vollständig umgingen.

Um dem entgegenzuwirken, implementierte Reddy Semantic Caching, eine Technik, die sich auf die Bedeutung von Abfragen und nicht auf deren exakte Formulierung konzentriert. Dieser Ansatz erhöhte die Cache-Trefferrate auf 67 %, was zu einer Reduzierung der LLM-API-Kosten um 73 % führte. Semantic Caching identifiziert die zugrunde liegende Absicht einer Abfrage und ruft die entsprechende Antwort aus dem Cache ab, selbst wenn die Formulierung unterschiedlich ist.

Der Anstieg der LLM-API-Kosten ist ein wachsendes Problem für Unternehmen, die KI in ihre Arbeitsabläufe integrieren. Da LLMs immer weiter verbreitet werden, ist die Optimierung der API-Nutzung entscheidend für die Aufrechterhaltung der Kosteneffizienz. Semantic Caching stellt eine vielversprechende Lösung dar, aber seine erfolgreiche Implementierung erfordert eine sorgfältige Berücksichtigung der Nuancen der Sprache und des Benutzerverhaltens. Reddy merkte an, dass naive Implementierungen oft wichtige Aspekte des Problems übersehen. Es wird erwartet, dass weitere Forschung und Entwicklung im Bereich der Semantic-Caching-Techniken eine wichtige Rolle bei der Verwaltung der LLM-Kosten in der Zukunft spielen werden.