Laut Sreenivasa Reddy Hulebeedu Reddy, einem Entwickler von KI-Anwendungen, erleben viele Unternehmen einen explosionsartigen Anstieg ihrer Rechnungen für Large Language Model (LLM) Application Programming Interfaces (APIs), da Benutzer dieselben Fragen auf unterschiedliche Weise stellen. Reddy stellte fest, dass Benutzer häufig dieselben Fragen umformulierten, was zu redundanten Aufrufen des LLM führte und unnötige API-Kosten verursachte.

Reddys Analyse von Abfrageprotokollen ergab, dass Benutzer Fragen wie "Wie lautet Ihre Rückgaberichtlinie?", "Wie kann ich etwas zurückgeben?" und "Kann ich eine Rückerstattung erhalten?" separat stellten, wobei jede Frage nahezu identische Antworten generierte und die vollen API-Kosten verursachte. Traditionelles, exakt übereinstimmendes Caching, das den Abfragetext als Cache-Schlüssel verwendet, erwies sich als ineffektiv und erfasste nur 18 % dieser redundanten Aufrufe. "Dieselbe semantische Frage, anders formuliert, umging den Cache vollständig", erklärte Reddy.

Um dem entgegenzuwirken, implementierte Reddy Semantic Caching, eine Technik, die sich auf die Bedeutung von Abfragen und nicht auf deren genauen Wortlaut konzentriert. Semantic Caching analysiert die zugrunde liegende Absicht einer Frage und ruft die Antwort aus dem Cache ab, wenn eine semantisch ähnliche Abfrage bereits verarbeitet wurde. Nach der Implementierung von Semantic Caching berichtete Reddy von einer Erhöhung der Cache-Trefferrate auf 67 %, was zu einer Reduzierung der LLM-API-Kosten um 73 % führte.

Die zentrale Herausforderung beim traditionellen Caching liegt in seiner Abhängigkeit von exakten Übereinstimmungen. Wie Reddy veranschaulichte, verwendet traditionelles Caching einen Hash des Abfragetextes als Cache-Schlüssel. Wenn der Schlüssel im Cache vorhanden ist, wird die zwischengespeicherte Antwort zurückgegeben; andernfalls wird die Abfrage vom LLM verarbeitet. Dieser Ansatz scheitert, wenn Benutzer Fragen unterschiedlich formulieren, auch wenn die zugrunde liegende Bedeutung dieselbe ist.

Semantic Caching stellt einen bedeutenden Fortschritt bei der Optimierung der LLM-API-Nutzung dar. Durch das Verständnis der semantischen Bedeutung von Abfragen kann es redundante Aufrufe drastisch reduzieren und Kosten senken. Die effektive Implementierung von Semantic Caching erfordert jedoch die sorgfältige Berücksichtigung verschiedener Faktoren, einschließlich der Wahl von Algorithmen zur semantischen Ähnlichkeit und der Verwaltung der Cache-Invalidierung. Die Entwicklung unterstreicht die Bedeutung, über einfache, textbasierte Caching-Lösungen hinauszugehen und zu anspruchsvolleren Methoden überzugehen, die die Nuancen der menschlichen Sprache verstehen.