Die API-Kosten für große Sprachmodelle (LLM) können durch die Implementierung von Semantic Caching erheblich gesenkt werden. Dies geht aus den Beobachtungen von Sreenivasa Reddy Hulebeedu Reddy hervor, einem Experten für maschinelles Lernen, der einen monatlichen Anstieg seiner LLM-API-Rechnung um 30 % feststellte. Reddy stellte fest, dass Benutzer dieselben Fragen auf unterschiedliche Weise stellten, was zu redundanten Aufrufen des LLM und unnötigen Kosten führte.
Reddy fand heraus, dass traditionelles Exact-Match-Caching, das den Abfragetext als Cache-Schlüssel verwendet, nur 18 % dieser redundanten Aufrufe erfasste. Beispielsweise würden Abfragen wie "Was sind Ihre Rückgabebedingungen?", "Wie kann ich etwas zurückgeben?" und "Kann ich eine Rückerstattung erhalten?" alle den Cache umgehen, obwohl sie die gleiche zugrunde liegende Bedeutung haben. "Benutzer stellen die gleichen Fragen auf unterschiedliche Weise", erklärte Reddy, "wodurch nahezu identische Antworten generiert werden, die jeweils die vollen API-Kosten verursachen."
Um dem entgegenzuwirken, implementierte Reddy Semantic Caching, das sich auf die Bedeutung der Abfragen und nicht auf deren exakten Wortlaut konzentriert. Dieser Ansatz erhöhte die Cache-Trefferrate auf 67 %, was zu einer Reduzierung der LLM-API-Kosten um 73 % führte. Semantic Caching nutzt Techniken der Verarbeitung natürlicher Sprache (NLP), um die Absicht hinter einer Abfrage zu verstehen und die entsprechende Antwort aus dem Cache abzurufen, selbst wenn die Abfrage anders formuliert ist.
Der Anstieg der LLM-API-Kosten ist ein wachsendes Problem für Unternehmen und Entwickler, die KI-gestützte Anwendungen nutzen. Da LLMs zunehmend in verschiedene Dienste integriert werden, wird die Optimierung der API-Nutzung und die Reduzierung der Kosten entscheidend. Semantic Caching bietet eine potenzielle Lösung, indem es redundante Berechnungen minimiert und die Effizienz verbessert.
Die effektive Implementierung von Semantic Caching erfordert jedoch sorgfältige Überlegungen. Naive Implementierungen können Nuancen in der Sprache übersehen und die Bedeutung von Abfragen nicht genau erfassen. Ausgefeilte NLP-Modelle und sorgfältiges Tuning sind oft notwendig, um eine optimale Leistung zu erzielen. Die spezifischen Techniken, die für Semantic Caching verwendet werden, können variieren, beinhalten aber im Allgemeinen das Einbetten von Abfragen in einen Vektorraum und die Verwendung von Ähnlichkeitsmetriken, um semantisch ähnliche Abfragen zu identifizieren.
Die Entwicklung von Semantic Caching unterstreicht die laufenden Bemühungen, die Effizienz und Kosteneffektivität von LLMs zu verbessern. Da die KI-Technologie immer weiter fortschreitet, werden Innovationen wie Semantic Caching eine wichtige Rolle dabei spielen, LLMs für ein breiteres Spektrum von Anwendungen zugänglicher und nachhaltiger zu machen. Die Auswirkungen gehen über Kosteneinsparungen hinaus und ermöglichen potenziell reaktionsschnellere und personalisierte Benutzererlebnisse, indem zwischengespeicherte Antworten für häufige Abfragen genutzt werden.
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
Die NASA hat die Pandora-Mission gestartet, um die Fähigkeiten des James-Webb-Weltraumteleskops bei der Suche nach bewohnbaren Exoplaneten zu erweitern. Pandora, ein kleinerer Satellit, wird parallel zu Webb arbeiten, um die chemische Zusammensetzung entfernter Planetensysteme zu analysieren und nach Anzeichen von Wasserdampf, Kohlendioxid und Methan zu suchen.
Trotz expliziter Google Play Store-Richtlinien, die Apps verbieten, die nicht einvernehmliche oder sexualisierte Bilder erzeugen, insbesondere von Kindern, ist Elon Musks Grok AI-App weiterhin mit einer "Teen"-Bewertung verfügbar. Diese Diskrepanz verdeutlicht einen Mangel an Durchsetzung durch Google, im Gegensatz zu Apples strengeren, aber weniger explizit definierten Inhaltsbeschränkungen für Apps, was Bedenken hinsichtlich der Plattformverantwortung und der Nutzersicherheit aufwirft.
Der Oberste Gerichtshof wird die Befugnis der FCC zur Verhängung von Geldstrafen überprüfen, insbesondere in einem Fall, in dem große Mobilfunkanbieter für den Verkauf von Kundenstandortdaten ohne Zustimmung bestraft wurden, was Fragen über die Macht der Behörde und mögliche Auswirkungen des Siebten Verfassungszusatzes aufwirft. Diese juristische Auseinandersetzung könnte die regulatorische Landschaft für die Telekommunikation neu gestalten und beeinflussen, wie die FCC den Schutz der Privatsphäre der Verbraucher und die Datenschutzbestimmungen in einer Ära durchsetzt, die zunehmend auf KI-gesteuerte Datenerfassung und -analyse angewiesen ist.
Die öffentlichen Bäder von Pompeji, die durch den Ausbruch des Vesuvs im Jahr 79 n. Chr. erhalten blieben, bieten Einblicke in die sich entwickelnde Wasserwirtschaft der Stadt. Eine neue Studie, die Kalziumkarbonatablagerungen analysiert, zeigt einen Wandel von der Nutzung von Regenwasser und Brunnen hin zu einem komplexeren Aquäduktsystem, was Fortschritte in der römischen Ingenieurskunst und Stadtentwicklung widerspiegelt. Dieser Übergang verbesserte wahrscheinlich die Hygiene und die öffentliche Gesundheit in der geschäftigen Hafenstadt, einem wichtigen Knotenpunkt in der antiken Mittelmeerwelt.
Nvidias Rubin-Plattform führt Rack-Scale-Verschlüsselung ein, ein bedeutender Fortschritt in der KI-Sicherheit, indem sie vertrauliches Computing über CPUs, GPUs und NVLink ermöglicht und die wachsende Bedrohung durch Cyberangriffe auf immer teurere KI-Modelle adressiert. Diese Technologie ermöglicht es Unternehmen, die Sicherheit kryptografisch zu verifizieren und sich von der vertrauensbasierten Cloud-Sicherheit zu lösen, was angesichts der steigenden Kosten für KI-Training und der zunehmenden Häufigkeit von KI-Modellverletzungen von entscheidender Bedeutung ist.
Die EPA der Trump-Regierung erwägt eine Richtungsänderung, die die gesundheitlichen Vorteile der Reduzierung der Luftverschmutzung bei regulatorischen Entscheidungen außer Acht lassen würde. Dies könnte eine jahrzehntelange etablierte Praxis umkehren, die den wirtschaftlichen Wert des menschlichen Lebens berücksichtigt. Diese Änderung könnte erhebliche Auswirkungen auf die öffentliche Gesundheit haben, da sie zu schwächeren Vorschriften für Schadstoffe wie Ozon und Feinstaub führen könnte, die beide mit schwerwiegenden Herz-Kreislauf-Erkrankungen in Verbindung gebracht werden. Der Schritt wirft Bedenken hinsichtlich der Zukunft des Umweltschutzes und der Rolle der KI bei der Bewertung der tatsächlichen Kosten-Nutzen-Analyse von Umweltvorschriften auf.
Semantisches Caching, das sich auf die Bedeutung von Anfragen anstatt auf die exakte Formulierung konzentriert, kann die API-Kosten von LLMs drastisch reduzieren, indem es Antworten auf semantisch ähnliche Fragen identifiziert und wiederverwendet. Traditionelles Exact-Match-Caching erfasst diese Redundanzen oft nicht, was zu unnötigen Ausgaben führt, aber die Implementierung von semantischem Caching kann die Cache-Trefferraten erhöhen und die LLM-Rechnungen deutlich senken.
Anthropic's Cowork, jetzt in der Forschungsvorschau für Max-Abonnenten verfügbar, vereinfacht die KI-gestützte Dateiverwaltung, indem es Claude ermöglicht, über eine benutzerfreundliche Chat-Oberfläche mit bestimmten Ordnern zu interagieren. Cowork basiert auf dem Claude Agent SDK und bietet eine weniger technische Alternative zu Claude Code, wodurch sich Möglichkeiten für Aufgaben ohne Programmierkenntnisse wie die Erstellung von Spesenabrechnungen eröffnen, während gleichzeitig Überlegungen zum Management der KI-Autonomie aufkommen.
Eric Migicovsky, der Gründer von Pebble, startet Core Devices und konzentriert sich auf ein nachhaltiges Geschäftsmodell für einen Pebble-Smartwatch-Neustart und einen KI-Ring, wobei er die Fallstricke traditioneller, Venture-finanzierter Startups vermeidet. Core Devices strebt von Anfang an Rentabilität an und nutzt die Lehren aus der Übernahme von Pebble durch Fitbit, indem es das Inventar sorgfältig verwaltet und auf externe Finanzierung verzichtet. Dieser Ansatz signalisiert eine Verlagerung hin zu langfristiger Tragfähigkeit im Bereich der Unterhaltungselektronik, wobei ein maßvolles Wachstum gegenüber einer schnellen Expansion Vorrang hat.
Mehrere Nachrichtenquellen berichten, dass MacKenzie Scott 45 Millionen Dollar an The Trevor Project gespendet hat, eine gemeinnützige Organisation, die LGBTQ-Jugendliche unterstützt. Dies ist die bisher größte Einzelspende und ein wichtiger Schub nach der gestiegenen Nachfrage nach Dienstleistungen und der Schließung verwandter bundesstaatlicher Beratungsprogramme durch die Trump-Regierung. Diese Spende zielt darauf ab, die Reichweite der Organisation zu erweitern und die erhöhten psychischen Probleme und die politische Feindseligkeit gegenüber jungen LGBTQ-Personen anzugehen, die eine Zunahme von Selbstmordgedanken erlebt haben.
Anthropic hat Claude for Healthcare vorgestellt, eine Suite von KI-Tools, die darauf ausgelegt sind, Healthcare-Prozesse für Anbieter, Kostenträger und Patienten zu optimieren, ähnlich der Ankündigung von ChatGPT Health durch OpenAI. Claude zeichnet sich durch Konnektoren aus, die den Zugriff auf entscheidende Datenbanken ermöglichen und potenziell Forschung und administrative Aufgaben beschleunigen. Bedenken hinsichtlich der Zuverlässigkeit von KI-gestützter medizinischer Beratung bleiben jedoch bestehen.
GoFundMe steht in der Kritik, weil es eine Spendenkampagne für einen ICE-Agenten veranstaltet, der einen Zivilisten tödlich erschossen hat, was möglicherweise gegen die eigenen Richtlinien verstößt, die die Unterstützung von Rechtsverteidigungen bei Gewaltverbrechen untersagen. Dies wirft Fragen zur Inhaltsmoderation der Plattform und zu den ethischen Implikationen von Crowdfunding in Fällen auf, in denen Strafverfolgungsbehörden und zivile Todesfälle eine Rolle spielen, und verdeutlicht die Herausforderungen bei der konsistenten Anwendung von KI-gestützten Inhaltsrichtlinien. Das FBI ermittelt derzeit in dem Fall.
Discussion
Join the conversation
Be the first to comment