Исследователи из MIT разработали новую методику, позволяющую большим языковым моделям (LLM) изучать новые навыки, не теряя при этом существующие знания, сообщает VentureBeat. Эта методика, получившая название самодистилляционная тонкая настройка (SDFT), позволяет моделям учиться непосредственно на демонстрациях и собственных экспериментах. Эта инновация решает ключевую проблему при тонкой настройке LLM, когда добавление новых навыков может непреднамеренно стирать ранее изученную информацию, вынуждая компании поддерживать отдельные модели для каждого навыка.
Метод SDFT, разработанный исследователями из MIT, Improbable AI Lab и ETH Zurich, неизменно превосходил традиционную контролируемую тонкую настройку (SFT) в экспериментах, сообщает VentureBeat. Новый метод использует возможности контекстного обучения современных LLM.
Тем временем, ландшафт искусственного интеллекта продолжает быстро развиваться. Китайские компании добились значительных успехов, создавая модели, соответствующие по производительности западным аналогам, но по более низкой цене, сообщает MIT Technology Review. Компания Moonshot AI недавно выпустила свою модель с открытыми весами, Kimi K2.5, которая почти соответствовала производительности Claude Opus от Anthropic по некоторым тестам, но по значительно более низкой цене. Семейство моделей Qwen от Alibaba также превзошло модели Llama от Meta по количеству загрузок на Hugging Face.
Быстрые достижения в области ИИ также вызывают опасения по поводу потенциального злоупотребления. Как сообщает MIT Technology Review, исследователи в области кибербезопасности уже наблюдают использование ИИ для облегчения онлайн-преступлений. Один из примеров включал сложный штамм программ-вымогателей, который шифровал файлы в системе жертвы, делая их непригодными для использования до выплаты выкупа.
Пересечение государственных и частных рынков также перестраивается под влиянием ИИ и других факторов. Пол Уик, главный инвестиционный директор Seligman, отметил «психологический сдвиг» на рынке, с усилением страха среди инвесторов, сообщает Fortune. Механизм финансирования для комплекса LBO программного обеспечения был нарушен, а рынки IPO были слабыми.
В других новостях, обнаружение Стеллы C, камня ольмеков, предоставило решающие сведения об истории цивилизации ольмеков, сообщает Hacker News. Камень, найденный Стирлингами, помог определить, что ольмеки были гораздо старше, чем считалось ранее. Дата, вырезанная на камне, 7.16.6.16.18 в календаре Мезоамериканского длинного счета, соответствует 3 сентября 32 г. до н.э.
Discussion
AI Experts & Community
Be the first to comment