Исследователи разработали новую методику под названием MemRL, которая позволяет ИИ-агентам осваивать новые навыки без дорогостоящей тонкой настройки, что потенциально может революционизировать способы адаптации ИИ-приложений к динамическим средам. Эта структура, созданная исследователями из Шанхайского университета Цзяо Тун и других институтов, наделяет агентов эпизодической памятью, позволяя им извлекать прошлый опыт и применять его для решения новых задач.

MemRL позволяет агентам непрерывно совершенствовать свои стратегии решения проблем на основе обратной связи из окружающей среды. Этот подход решает ключевую проблему в ИИ: дилемму стабильности-пластичности, которая касается баланса между сохранением существующих знаний (стабильность) и адаптацией к новой информации (пластичность).

В экспериментах, проведенных на ключевых отраслевых бенчмарках, MemRL превзошла другие базовые методы, включая Retrieval-Augmented Generation (RAG) и альтернативные методы организации памяти. Преимущество было особенно заметным в сложных средах, требующих исследования и экспериментирования. По мнению исследовательской группы, эти результаты показывают, что MemRL может стать важным компонентом в создании ИИ-приложений, предназначенных для работы в реальных условиях, где требования и задачи постоянно меняются.

Разработка MemRL является частью более широкой тенденции в исследовательском сообществе ИИ, направленной на создание возможностей непрерывного обучения для ИИ. Непрерывное обучение направлено на то, чтобы позволить ИИ-системам учиться и адаптироваться с течением времени, как это делают люди, не забывая ранее приобретенные знания. RAG, популярный метод, улучшает языковые модели, извлекая релевантную информацию из внешних источников знаний для повышения точности и уменьшения галлюцинаций. Однако превосходная производительность MemRL в сложных средах указывает на значительный шаг вперед в агентном ИИ.

Последствия MemRL распространяются на различные сектора, включая робототехнику, автономные системы и персонализированных ИИ-помощников. Например, робот, оснащенный MemRL, мог бы научиться более эффективно перемещаться в новой среде, вспоминая прошлый опыт в аналогичных условиях. Аналогично, ИИ-помощник мог бы адаптироваться к меняющимся потребностям и предпочтениям пользователя с течением времени, не требуя переобучения.

Исследователи считают, что способность MemRL учиться без тонкой настройки может значительно снизить стоимость и сложность развертывания ИИ-приложений в динамических средах. Дальнейшие исследования сосредоточены на масштабировании MemRL для решения еще более сложных задач и изучении ее потенциала в различных областях применения. Команда планирует опубликовать код и наборы данных, использованные в их экспериментах, чтобы способствовать дальнейшим исследованиям и разработкам в этой области.