Исследователи на конференции Neural Information Processing Systems (NeurIPS) в 2025 году представили результаты, свидетельствующие о том, что простое масштабирование моделей обучения с подкреплением (RL) не гарантирует улучшения производительности, особенно без достаточной глубины представления. Конференция, проходившая в Новом Орлеане, штат Луизиана, подчеркнула сдвиг в фокусе внимания AI-сообщества с сырого размера модели на архитектурный дизайн, методологии обучения и методы оценки.

Несколько докладов, представленных на конференции, бросили вызов давним предположениям о развитии ИИ. Одним из ключевых выводов было то, что алгоритмы обучения с подкреплением часто достигают плато в производительности из-за ограничений в их способности представлять сложные среды, независимо от размера модели. Это говорит о том, что для раскрытия всего потенциала RL необходимы более глубокие и сложные архитектуры.

«Мы были так сосредоточены на увеличении размеров моделей, но мы уперлись в стену», — сказала Майтрейи Чаттерджи, исследовательница, посетившая NeurIPS. «Эти работы показывают, что архитектурные инновации, особенно в обучении представлений, имеют решающее значение для дальнейшего прогресса в RL».

Полученные результаты имеют значительные последствия для различных областей, включая робототехнику, игровые приложения и автономные системы. Например, автономный автомобиль, обученный с использованием RL, может столкнуться с трудностями при навигации в сложных реальных сценариях, если его базовое представление об окружающей среде слишком упрощено.

Деваанш Агарвал, еще один исследователь на конференции, подчеркнул важность стратегий оценки. «Нам нужны лучшие способы оценки истинных возможностей этих моделей», — заявил Агарвал. «Текущие бенчмарки часто не отражают нюансы реальных задач, что приводит к переоценке производительности».

На конференции NeurIPS 2025 также были представлены исследования, ставящие под сомнение предположение о том, что более крупные языковые модели (LLM) автоматически приводят к улучшению способностей к рассуждению. В нескольких работах было высказано предположение, что LLM сходятся в своих возможностях и что необходимы новые метрики оценки для оценки их навыков рассуждения открытого типа.

Сдвиг в фокусе внимания в сторону архитектуры и динамики обучения отражает растущее признание того, что прогресс ИИ не зависит исключительно от вычислительной мощности. В настоящее время исследователи изучают новые архитектуры, такие как те, которые включают механизмы внимания и иерархические представления, чтобы улучшить способность агентов RL к обучению и обобщению.

Последствия этих выводов выходят за рамки академического сообщества. Компаниям, разрабатывающим продукты на основе ИИ, необходимо будет уделять приоритетное внимание архитектурным инновациям и надежным стратегиям оценки, чтобы гарантировать, что их системы смогут эффективно решать реальные проблемы. Результаты NeurIPS 2025 показывают, что будущее ИИ заключается не только в создании более крупных моделей, но и в разработке более умных.