Die Forschung von DeepSeek zum Thema "bedingter Speicher" zielt darauf ab, die ineffiziente Nutzung von GPU-Rechenleistung in großen Sprachmodellen (LLMs) beim Zugriff auf statische Informationen zu beheben. Die neu veröffentlichte Studie stellt ein Modul namens Engram vor, das entwickelt wurde, um statische Mustererkennung von dynamischem Denken zu trennen, wodurch potenziell erhebliche Rechenressourcen eingespart werden können.
Laut der Studie verwenden LLMs in Unternehmen häufig teure GPU-Berechnungen, die für komplexes Denken ausgelegt sind, um lediglich statische Informationen wie Produktnamen, technische Spezifikationen oder Standardvertragsklauseln abzurufen. Diese Suchvorgänge finden täglich millionenfach statt, verschwenden Rechenzyklen und treiben die Infrastrukturkosten in die Höhe. Das DeepSeek-Team, einschließlich des Mitautors und Gründers Liang Wenfeng, versuchte, diesen Prozess zu optimieren.
Durch systematische Experimente stellte DeepSeek fest, dass die Zuweisung von 75 % der Kapazität des Sparse-Modells für dynamisches Denken und 25 % für statische Suchvorgänge das optimale Gleichgewicht zwischen Berechnung und Speicher darstellt. Die Ergebnisse zeigten, dass dieses Speichersystem die Denkfähigkeiten deutlicher verbesserte als den Wissensabruf. Die Benchmark-Ergebnisse für komplexes Denken, gemessen mit Big-Bench Hard, stiegen von 70 % auf 74 % Genauigkeit, während sich wissensbezogene Tests von 57 % auf 61 % verbesserten.
Die Auswirkungen dieser Forschung gehen über bloße Effizienzsteigerungen hinaus. Durch die Optimierung der Art und Weise, wie LLMs auf Informationen zugreifen und diese verarbeiten, stellt die Arbeit von DeepSeek grundlegende Annahmen über die Rolle des Speichers in neuronalen Netzen in Frage. Das Engram-Modul ermöglicht einen differenzierteren Ansatz für die Speicherzuweisung und ebnet möglicherweise den Weg für effizientere und leistungsfähigere KI-Systeme.
Die Entwicklung kommt zu einer Zeit, in der der Energieverbrauch und die Umweltauswirkungen großer Sprachmodelle zunehmend unter die Lupe genommen werden. Durch die Reduzierung des Rechenaufwands, der mit dem Abrufen statischer Informationen verbunden ist, könnte der bedingte Speicheransatz von DeepSeek zu einer nachhaltigeren KI-Entwicklung beitragen. Weitere Forschung ist erforderlich, um die Skalierbarkeit und Verallgemeinerbarkeit von Engram über verschiedene LLM-Architekturen und -Anwendungen hinweg zu untersuchen.
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
Nach dem Tod von Renee Good durch einen ICE-Beamten in Minnesota verstärken lokale Aktivisten ihre Bemühungen, ihre Gemeinden zu überwachen und vor ICE-Aktivitäten zu warnen. Diese dezentralen Netzwerke patrouillieren in Stadtvierteln, verfolgen ICE-Beamte und teilen Informationen, um Einwohner zu schützen, was zu Konfrontationen und Anschuldigungen wegen inländischen Terrorismus führt.
Die Walt Disney Company hat Asad Ayaz zum allerersten Chief Marketing and Brand Officer ernannt. Diese neue Position wurde geschaffen, um die Marketingaktivitäten der verschiedenen Geschäftsbereiche, darunter Parks, Studios und Sport, zu vereinheitlichen. Ayaz, zuvor Marketingchef der Walt Disney Studios, wird nun alle Disney-Marketingteams leiten, um die Effektivität von Kampagnen zu steigern und das Geschäftswachstum des gesamten Unternehmens voranzutreiben. Dieser strategische Schritt signalisiert Disneys Absicht, ein kohärenteres Markenerlebnis zu schaffen und die Publikumsbindung im gesamten weitläufigen Unterhaltungsökosystem zu verbessern.
Paramount Skydance hat Dennis Cinelli, zuvor CFO des KI-Unternehmens Scale AI, inmitten eines Übernahmekampfes mit Warner Bros. Discovery zum neuen CFO ernannt, was die wachsende Bedeutung von KI-Expertise in der Unternehmensstrategie signalisiert. Der Schritt unterstreicht die Überschneidung von Medien und KI, da Unternehmen nach Führungskräften mit Erfahrung in beiden Sektoren suchen, um sich in der sich entwickelnden Landschaft zurechtzufinden.
Jodie Foster führt ihre Vermeidung sexuellen Missbrauchs in Hollywood auf die Macht zurück, die sie früh in ihrer Karriere erlangte, insbesondere nach ihrer Oscar-Nominierung im Alter von 12 Jahren für "Taxi Driver". Foster deutet an, dass diese Macht, die für einen jungen Schauspieler ungewöhnlich war, sie vor den schwerwiegenderen Formen des Missbrauchs schützte, obwohl sie einräumt, in der Arbeitswelt übliche, frauenfeindliche Mikroaggressionen erlebt zu haben.
Schauspieler Timothy Busfield erschien per Zoom vor Gericht und sah sich mit Anklagen wegen sexuellen Missbrauchs und Kindesmissbrauchs im Zusammenhang mit einem Vorfall am Set von "The Cleaning Lady" konfrontiert. Busfield wird ohne Kaution bis zu einer Anhörung festgehalten. Der Fall unterstreicht die anhaltenden Bedenken hinsichtlich der Sicherheit von Kindern an Unterhaltungsproduktionssets und könnte zu einer erneuten branchenweiten Überprüfung der Schutzmaßnahmen am Set führen.
Die Analyse des Mageninhalts eines Wolfswelpen aus der russischen Eiszeit enthüllte DNA von einem der letzten Wollnashörner, was darauf hindeutet, dass ihr Aussterben ein rascher Zusammenbruch war, der möglicherweise durch den Klimawandel ausgelöst wurde. Dieser seltene genomische Schnappschuss liefert wertvolle Einblicke in den Genpool einer Art am Rande des Abgrunds und erweitert unser Verständnis von Aussterbeereignissen und den Auswirkungen von Umweltveränderungen.
Ein neuer Naturfilm beleuchtet die Perspektiven von KI-Pionieren auf das transformative Potenzial der Technologie in verschiedenen Sektoren und hebt sowohl ihr Versprechen als auch potenzielle gesellschaftliche Bedenken hervor. Die Diskussion betont die entscheidende Rolle menschlichen Handelns bei der Gestaltung der KI-Entwicklung und die Notwendigkeit eines fundierten Diskurses inmitten von Fehlinformationen.
Die Analyse von 8.000 Jahre alten mesopotamischen Tonscherben liefert überraschend frühe Beweise für strukturiertes mathematisches Denken, das die ersten bekannten schriftlichen Zahlen um Jahrtausende vorwegnimmt. Diese Entdeckung unterstreicht die kognitiven Fähigkeiten antiker Gesellschaften und regt zu weiteren Untersuchungen über die Ursprünge und die Entwicklung des mathematischen Denkens an.
Eine groß angelegte Hirnbildgebungsstudie deutet darauf hin, dass altersbedingter Gedächtnisverlust eher mit einer weitverbreiteten Hirnschrumpfung als mit isolierten Schäden zusammenhängt, was auf einen Wendepunkt hindeutet, an dem sich der Abbau beschleunigt. Diese Forschung, die Tausende von MRT-Scans analysiert, hebt das komplexe Zusammenspiel mehrerer Hirnregionen bei der Gedächtnisfunktion hervor und geht über den traditionellen Fokus auf den Hippocampus hinaus. Die Ergebnisse bieten neue Einblicke in das alternde Gehirn und könnten zukünftige Strategien zur Abschwächung des kognitiven Abbaus beeinflussen.
Mönchsfrucht ist nicht nur ein natürlicher Süßstoff, sondern wird mittlerweile auch für ihren Gehalt an Antioxidantien und bioaktiven Verbindungen anerkannt, der potenziell gesundheitliche Vorteile bietet. Forschungsergebnisse deuten darauf hin, dass verschiedene Sorten von Mönchsfrüchten einzigartige chemische Profile aufweisen, was auf vielfältige Anwendungsmöglichkeiten in Lebensmitteln und Nahrungsergänzungsmitteln zur Unterstützung des allgemeinen Wohlbefindens hindeutet. Diese Erkenntnisse unterstreichen die Bedeutung der Erforschung des vollen Potenzials der Mönchsfrucht zur Förderung der Gesundheit.
Forschende haben "marine Dunkelwellen" identifiziert, plötzliche und anhaltende Perioden von Unterwasserdunkelheit, die durch Faktoren wie Sedimentabfluss und Algenblüten verursacht werden und lichtabhängige marine Ökosysteme bedrohen. Dieser neue Rahmen hilft Wissenschaftlern, diese Blackout-Ereignisse zu verstehen und zu vergleichen, und hebt das wachsende Risiko für Kelpwälder und Seegraswiesen aufgrund abnehmender Wasserklarheit hervor. Die Studie unterstreicht die Notwendigkeit, die Faktoren anzugehen, die zu diesen Dunkelwellen beitragen, um gefährdetes Meeresleben zu schützen.
Forschende haben einen Mechanismus identifiziert, durch den einige Statine Muskelschmerzen auslösen: durch die Bindung an ein Muskelprotein, die einen Kalziumverlust innerhalb der Zellen verursacht. Diese Entdeckung bietet einen potenziellen Weg zur Entwicklung neuer Statine oder Behandlungen, die muskuläre Nebenwirkungen abmildern und die Therapietreue der Patienten bei cholesterinsenkenden Therapien verbessern.
Discussion
Join the conversation
Be the first to comment