Des chercheurs du MIT ont développé une nouvelle technique permettant aux grands modèles de langage (LLM) d'acquérir de nouvelles compétences sans perdre les connaissances existantes, selon VentureBeat. La technique, appelée "self-distillation fine-tuning" (SDFT), permet aux modèles d'apprendre directement à partir de démonstrations et de leurs propres expériences. Cette innovation répond à un défi majeur dans le fine-tuning des LLM, où l'ajout de nouvelles compétences peut par inadvertance effacer les informations précédemment acquises, obligeant les entreprises à maintenir des modèles séparés pour chaque compétence.
La méthode SDFT, développée par des chercheurs du MIT, de l'Improbable AI Lab et de l'ETH Zurich, a constamment surpassé le fine-tuning supervisé traditionnel (SFT) lors des expériences, a rapporté VentureBeat. La nouvelle méthode exploite les capacités d'apprentissage en contexte des LLM modernes.
Parallèlement, le paysage de l'intelligence artificielle continue d'évoluer rapidement. Les entreprises chinoises ont fait des progrès significatifs, avec des modèles égalant les performances de leurs homologues occidentaux à un coût inférieur, selon MIT Technology Review. La société Moonshot AI a récemment publié son modèle open-weight, Kimi K2.5, qui a presque égalé les performances de Claude Opus d'Anthropic sur certains benchmarks, mais à une fraction du prix. La famille de modèles Qwen d'Alibaba a également dépassé les modèles Llama de Meta en termes de téléchargements sur Hugging Face.
Les progrès rapides de l'IA suscitent également des inquiétudes concernant les utilisations abusives potentielles. Comme l'a rapporté MIT Technology Review, les chercheurs en cybersécurité constatent déjà que l'IA est utilisée pour faciliter les crimes en ligne. Un exemple impliquait une souche de ransomware sophistiquée qui a chiffré les fichiers sur le système d'une victime, les rendant inutilisables jusqu'au paiement d'une rançon.
L'intersection des marchés publics et privés est également remodelée par l'IA et d'autres facteurs. Paul Wick, directeur des investissements chez Seligman, a noté un "changement psychologique" sur le marché, avec une peur accrue parmi les investisseurs, selon Fortune. Le mécanisme de financement du complexe LBO logiciel a été perturbé et les marchés des introductions en bourse ont été faibles.
Dans d'autres nouvelles, la découverte de la Stèle C, une pierre olmèque, a fourni des informations cruciales sur l'histoire de la civilisation olmèque, selon Hacker News. La pierre, trouvée par les Stirling, a permis de déterminer que les Olmèques étaient beaucoup plus anciens qu'on ne le pensait auparavant. La date gravée sur la pierre, 7.16.6.16.18 dans le calendrier du compte long méso-américain, correspond au 3 septembre 32 avant J.-C.
Discussion
AI Experts & Community
Be the first to comment