Nvidia senkt LLM-Kosten mit neuer Technik um das 8-fache

Die NASA arbeitet laut Ars Technica an der Behebung von Betankungsproblemen mit ihrer Space Launch System-Rakete vor der Artemis III-Mission und bereitet sich gleichzeitig auf eine zweite Countdown-Probe für die Artemis II-Mission vor. Die Behörde sieht sich auch mit Kritik an einer von den USA finanzierten Impfstoffstudie konfrontiert, die von der Weltgesundheitsorganisation (WHO) als unethisch eingestuft wurde.

Ars Technica berichtete, dass NASA-Administrator Jared Isaacman erklärte, die Behörde suche nach Möglichkeiten, die Betankungsprobleme zu verhindern, die die Space Launch System-Rakete vor der Artemis III-Mission geplagt haben, die als erste bemannte Mission seit dem Apollo-Programm auf dem Mond landen soll. Artemis II, die sich nach dem Verpassen eines Startfensters Anfang dieses Monats weiterhin auf der Startrampe im Kennedy Space Center in Florida befindet, bereitet sich auf eine zweite Countdown-Probe in der nächsten Woche vor, um zu bestätigen, ob Techniker ein Wasserstoffleck behoben haben, das einen Übungs-Countdown-Lauf am 2. Februar verkürzte.

In anderen Nachrichten veröffentlichte die WHO eine formelle Erklärung, in der sie eine von den USA finanzierte Impfstoffstudie als unethisch verurteilte, so Ars Technica. Die in Guinea-Bissau, Afrika, durchgeführte Studie würde einigen Neugeborenen einen etablierten, sicheren und potenziell lebensrettenden Impfstoff gegen Hepatitis B vorenthalten. Die WHO kam zu dem Schluss, dass die Studie nicht mit etablierten ethischen und wissenschaftlichen Prinzipien vereinbar sei, und nannte eine Aufzählung von Gründen, warum die Studie schädlich und von geringer Qualität sei. Die Studie hat seit der Veröffentlichung der US-Finanzierung im Federal Register im Dezember breite Verurteilung von Gesundheitsexperten erfahren.

In der Tech-Welt haben Nvidia-Forscher eine Technik namens Dynamic Memory Sparsification (DMS) entwickelt, die die Speicherkosten für das Reasoning von Large Language Models (LLM) um bis zu das Achtfache reduzieren kann, ohne an Genauigkeit zu verlieren, so VentureBeat. DMS komprimiert den Key-Value (KV)-Cache, den temporären Speicher, den LLMs generieren und speichern, während sie Prompts verarbeiten und Probleme und Dokumente durchdenken. Experimente zeigen, dass DMS es LLMs ermöglicht, länger zu "denken" und mehr Lösungen zu erkunden, ohne dass mehr Speicher benötigt wird.

Ebenfalls berichtete VentureBeat, dass Sicherheitsverantwortliche besorgt sind, dass Mitarbeiter OpenClaw auf Unternehmensrechnern mit Einzeilen-Installationsbefehlen einsetzen, wodurch autonome Agenten Shell-Zugriff, Dateisystemberechtigungen und OAuth-Tokens für Slack, Gmail und SharePoint erhalten. Censys verfolgte den Open-Source-KI-Agenten von etwa 1.000 Instanzen auf über 21.000 öffentlich zugängliche Bereitstellungen in weniger als einer Woche.