В понедельник организация Artificial Analysis, независимая организация по бенчмаркингу ИИ, выпустила масштабное обновление своего Индекса интеллекта, коренным образом изменив способ измерения прогресса в области искусственного интеллекта. Новый Индекс интеллекта v4.0 включает в себя 10 оценок, охватывающих агентов, кодирование, научное мышление и общие знания, отходя от традиционных бенчмарков, которые организация сочла устаревшими.

Организация удалила три основных бенчмарка – MMLU-Pro, AIME 2025 и LiveCodeBench – которые широко цитировались компаниями, занимающимися ИИ, в своих маркетинговых материалах. Они были заменены оценками, предназначенными для измерения способности систем ИИ выполнять задачи, отражающие реальную работу, за которую людям платят деньги. Этот сдвиг отражает растущую обеспокоенность тем, что существующие бенчмарки слишком сильно ориентированы на запоминание и недостаточно на практическое применение.

Индекс интеллекта служит внимательно отслеживаемой системой ранжирования моделей ИИ, влияющей как на разработчиков, так и на корпоративных покупателей. Обновление знаменует собой критическую корректировку в оценке прогресса ИИ. Вместо того чтобы отдавать приоритет производительности в стандартизированных тестах, новый индекс подчеркивает экономическую полезность систем ИИ. Это изменение происходит по мере того, как модели ИИ быстро совершенствуются, что делает старые бенчмарки менее эффективными для дифференциации возможностей.

"Этот сдвиг в индексе отражает более широкий переход: интеллект измеряется меньше запоминанием и больше экономически полезными действиями", – отметил Аравинд Сундар, исследователь, отреагировавший на объявление. Эта точка зрения подчеркивает эволюционирующее понимание интеллекта ИИ, выходящее за рамки простого извлечения знаний и переходящее к решению проблем и практическому применению.

Последствия этого изменения значительны для индустрии ИИ. Компаниям, возможно, придется переосмыслить свои маркетинговые стратегии, уделяя меньше внимания необработанным показателям бенчмарков и больше демонстрации реальных возможностей. Корпоративные покупатели, вероятно, будут уделять больше внимания оценкам, отражающим их конкретные потребности и варианты использования. Обновленный индекс призван обеспечить более точную и релевантную оценку систем ИИ, направляя разработку и внедрение в более практичном направлении. Новый индекс доступен немедленно, и Artificial Analysis планирует продолжить совершенствование оценок на основе текущих разработок в этой области.