独立系AIベンチマーク機関であるArtificial Analysisは月曜日、インテリジェンス指数の大幅な見直しを発表し、業界が人工知能の進歩を測定する方法を根本的に変えました。新しいインテリジェンス指数v4.0は、エージェント、コーディング、科学的推論、一般知識に及ぶ10の評価を取り入れ、同機関が時代遅れと判断した従来のベンチマークから脱却しています。

同機関は、AI企業がマーケティング資料で広く引用してきた3つの主要なベンチマーク（MMLU-Pro、AIME 2025、LiveCodeBench）を削除しました。これらは、AIシステムが人々が報酬を得て行う現実世界の仕事に似たタスクを完了できるかどうかを測定するように設計された評価に置き換えられました。この変化は、既存のベンチマークが想起に重点を置きすぎており、実用的な応用には十分ではないという懸念の高まりを反映しています。

インテリジェンス指数は、AIモデルの注目度の高いランキングシステムとして機能し、開発者と企業のバイヤーの両方に影響を与えます。今回の見直しは、AIの進歩が評価される方法における重要な調整を意味します。新しい指数は、標準化されたテストでのパフォーマンスを優先する代わりに、AIシステムの経済的有用性を重視します。この変更は、AIモデルが急速に改善し、古いベンチマークでは能力を区別することが難しくなっている中で行われました。

「この指数の変化は、より広範な移行を反映しています。知能は、想起によってではなく、経済的に有用な行動によって測定されるようになっています」と、発表に応じた研究者のアラビンド・サンダー氏は述べています。この視点は、AIインテリジェンスの進化する理解を強調しており、単純な知識検索から問題解決と実用的な応用へと移行しています。

この変更の影響は、AI業界にとって重大です。企業は、マーケティング戦略を再考し、生のベンチマークスコアよりも、現実世界の能力を示すことに重点を置く必要があるかもしれません。企業のバイヤーは、特定のニーズとユースケースを反映した評価をより重視するようになるでしょう。更新された指数は、AIシステムをより正確かつ適切に評価し、より実用的な方向で開発と導入を導くことを目指しています。新しい指数はすぐに利用可能になり、Artificial Analysisは、この分野の継続的な発展に基づいて評価を継続的に改善する予定です。