Die API-Kosten für große Sprachmodelle (LLM) können durch die Implementierung von Semantic Caching erheblich gesenkt werden. Dies ergab Sreenivasa Reddy Hulebeedu Reddy, der feststellte, dass die LLM-API-Rechnung seines Unternehmens monatlich um 30 % stieg, obwohl der Traffic nicht im gleichen Maße zunahm. Reddy entdeckte, dass Benutzer dieselben Fragen auf unterschiedliche Weise stellten, was zu redundanten Aufrufen des LLM führte und unnötige API-Kosten verursachte.

Reddys Analyse der Abfrageprotokolle ergab, dass Benutzer häufig dieselben Fragen umformulierten. Zum Beispiel führten Abfragen wie "Wie lauten Ihre Rückgabebedingungen?", "Wie kann ich etwas zurückgeben?" und "Kann ich eine Rückerstattung erhalten?" alle zu nahezu identischen Antworten des LLM, doch jede Abfrage wurde separat verarbeitet, wodurch die vollen API-Kosten entstanden.

Traditionelles Exact-Match-Caching, das den Abfragetext als Cache-Schlüssel verwendet, erwies sich als unwirksam, um dieses Problem zu beheben. "Exact-Match-Caching erfasste nur 18 % dieser redundanten Aufrufe", erklärte Reddy. "Dieselbe semantische Frage, anders formuliert, umging den Cache vollständig."

Um diese Einschränkung zu überwinden, implementierte Reddy Semantic Caching, das sich auf die Bedeutung der Abfragen und nicht auf deren exakten Wortlaut konzentriert. Dieser Ansatz erhöhte die Cache-Trefferrate auf 67 %, was zu einer Reduzierung der LLM-API-Kosten um 73 % führte. Semantic Caching identifiziert Abfragen mit ähnlicher Bedeutung und ruft die entsprechende Antwort aus dem Cache ab, wodurch redundante Aufrufe des LLM vermieden werden.

Die Entwicklung unterstreicht die Bedeutung des Verständnisses des Benutzerverhaltens und der Optimierung von Caching-Strategien, um die LLM-API-Kosten effektiv zu verwalten. Da LLMs zunehmend in verschiedene Anwendungen integriert werden, bietet Semantic Caching eine wertvolle Lösung für Unternehmen, die ihre Ausgaben senken möchten, ohne die Qualität ihrer Dienstleistungen zu beeinträchtigen.