Artificial Analysis, une organisation indépendante d'évaluation comparative de l'IA, a publié lundi une refonte majeure de son Intelligence Index, modifiant fondamentalement la façon dont l'industrie mesure les progrès de l'intelligence artificielle. La nouvelle version 4.0 de l'Intelligence Index intègre 10 évaluations couvrant les agents, le codage, le raisonnement scientifique et les connaissances générales, s'éloignant des benchmarks traditionnels que l'organisation jugeait obsolètes.

L'organisation a supprimé trois benchmarks essentiels – MMLU-Pro, AIME 2025 et LiveCodeBench – qui ont été largement cités par les entreprises d'IA dans leurs supports marketing. Ceux-ci ont été remplacés par des évaluations conçues pour mesurer si les systèmes d'IA peuvent effectuer des tâches qui reflètent le travail réel pour lequel les personnes sont rémunérées. Ce changement reflète une préoccupation croissante selon laquelle les benchmarks existants se concentrent trop sur la mémorisation et pas assez sur l'application pratique.

L'Intelligence Index sert de système de classement très suivi pour les modèles d'IA, influençant à la fois les développeurs et les acheteurs d'entreprises. Cette refonte marque un ajustement essentiel dans la façon dont les progrès de l'IA sont évalués. Au lieu de donner la priorité aux performances sur des tests standardisés, le nouvel index met l'accent sur l'utilité économique des systèmes d'IA. Ce changement intervient alors que les modèles d'IA s'améliorent rapidement, rendant les anciens benchmarks moins efficaces pour différencier les capacités.

« Ce changement d'index reflète une transition plus large : l'intelligence est moins mesurée par la mémorisation et plus par une action économiquement utile », a observé Aravind Sundar, un chercheur qui a réagi à l'annonce. Cette perspective met en évidence l'évolution de la compréhension de l'intelligence artificielle, qui va au-delà de la simple récupération de connaissances pour se concentrer sur la résolution de problèmes et l'application pratique.

Les implications de ce changement sont importantes pour l'industrie de l'IA. Les entreprises devront peut-être repenser leurs stratégies marketing, en se concentrant moins sur les scores bruts des benchmarks et davantage sur la démonstration des capacités réelles. Les acheteurs d'entreprises accorderont probablement plus d'importance aux évaluations qui reflètent leurs besoins et leurs cas d'utilisation spécifiques. L'index mis à jour vise à fournir une évaluation plus précise et pertinente des systèmes d'IA, guidant le développement et l'adoption dans une direction plus pratique. Le nouvel index est disponible immédiatement, et Artificial Analysis prévoit de continuer à affiner les évaluations en fonction des développements en cours dans le domaine.