MIT-Forscher haben eine neue Technik entwickelt, mit der Large Language Models (LLMs) neue Fähigkeiten erlernen können, ohne bestehendes Wissen zu verlieren, berichtet VentureBeat. Die Technik, genannt Self-Distillation Fine-Tuning (SDFT), ermöglicht es Modellen, direkt aus Demonstrationen und ihren eigenen Experimenten zu lernen. Diese Innovation adressiert eine zentrale Herausforderung beim Fine-Tuning von LLMs, bei der das Hinzufügen neuer Fähigkeiten unbeabsichtigt zuvor erlernte Informationen löschen kann, was Unternehmen dazu zwingt, separate Modelle für jede Fähigkeit zu unterhalten.
Die SDFT-Methode, entwickelt von Forschern des MIT, des Improbable AI Lab und der ETH Zürich, übertraf in Experimenten durchweg das traditionelle Supervised Fine-Tuning (SFT), berichtete VentureBeat. Die neue Methode nutzt die In-Context-Learning-Fähigkeiten moderner LLMs.
Unterdessen entwickelt sich die Landschaft der künstlichen Intelligenz weiterhin rasant. Chinesische Unternehmen haben erhebliche Fortschritte gemacht, wobei Modelle die Leistung westlicher Pendants zu geringeren Kosten erreichen, so der MIT Technology Review. Die Firma Moonshot AI hat kürzlich ihr Open-Weight-Modell Kimi K2.5 veröffentlicht, das auf einigen Benchmarks fast die Leistung von Anthropic's Claude Opus erreichte, jedoch zu einem Bruchteil des Preises. Alibabas Qwen-Modellfamilie hat auch Metas Llama-Modelle bei Downloads auf Hugging Face übertroffen.
Die rasanten Fortschritte in der KI werfen auch Bedenken hinsichtlich eines möglichen Missbrauchs auf. Wie der MIT Technology Review berichtet, beobachten Cybersicherheitsforscher bereits, dass KI eingesetzt wird, um Online-Verbrechen zu erleichtern. Ein Beispiel betraf eine hochentwickelte Ransomware-Variante, die Dateien auf dem System eines Opfers verschlüsselte und sie unbrauchbar machte, bis ein Lösegeld gezahlt wurde.
Die Schnittstelle von öffentlichen und privaten Märkten wird ebenfalls durch KI und andere Faktoren neu gestaltet. Paul Wick, Chief Investment Officer bei Seligman, stellte laut Fortune eine "psychologische Verschiebung" im Markt fest, mit erhöhter Angst unter den Anlegern. Der Finanzierungsmechanismus für den Software-LBO-Komplex wurde gestört, und die IPO-Märkte waren schwach.
In anderen Nachrichten lieferte die Entdeckung von Stela C, einem Olmeken-Stein, entscheidende Einblicke in die Geschichte der Olmeken-Zivilisation, so Hacker News. Der von den Stirlings gefundene Stein trug dazu bei, festzustellen, dass die Olmeken viel älter waren als bisher angenommen. Das auf dem Stein eingravierte Datum 7.16.6.16.18 im mesoamerikanischen Langzeitkalender entspricht dem 3. September 32 v. Chr.
Discussion
AI Experts & Community
Be the first to comment