Selon un document confidentiel d'OpenAI, l'entreprise a « embauché des personnes de divers horizons professionnels pour aider à collecter des tâches réelles inspirées de celles que vous avez effectuées dans vos emplois à temps plein, afin de mesurer les performances des modèles d'IA sur ces tâches. » Le document demande aux contractuels de « prendre des éléments existants de travaux complexes ou de longue durée (heures ou jours) que vous avez effectués dans votre profession et de transformer chacun d'eux en une tâche. »

Cette initiative s'inscrit dans le cadre des efforts plus larges d'OpenAI pour évaluer ses progrès vers la réalisation d'une intelligence artificielle générale (IAG). En septembre, OpenAI a lancé un nouveau processus d'évaluation axé sur la comparaison des performances de ses modèles d'IA avec celles de professionnels humains dans divers secteurs. OpenAI définit l'IAG comme un système d'IA qui surpasse les capacités humaines dans la plupart des tâches économiquement intéressantes.

Les données collectées à partir de ces tâches réelles seront utilisées pour entraîner et affiner les modèles d'IA d'OpenAI, leur permettant de mieux comprendre et d'exécuter des missions complexes. En comparant les performances de l'IA à une base de référence humaine, OpenAI espère identifier les domaines dans lesquels ses modèles excellent et ceux qui nécessitent des améliorations supplémentaires. Cette approche est essentielle pour développer des systèmes d'IA capables d'améliorer, voire d'automatiser efficacement diverses tâches professionnelles.

Les implications de la réalisation de l'IAG sont considérables, transformant potentiellement des secteurs entiers et remodelant la nature du travail. Si le développement de l'IAG promet des avantages significatifs, tels qu'une productivité et une innovation accrues, il soulève également des inquiétudes quant aux suppressions d'emplois et aux considérations éthiques liées aux systèmes d'IA de plus en plus autonomes. Les efforts d'OpenAI pour évaluer les performances de l'IA par rapport aux capacités humaines constituent une étape vers la compréhension et la résolution de ces problèmes complexes.

L'état actuel du projet implique la collecte et l'analyse continues de données. OpenAI n'a pas encore publié de détails spécifiques sur les performances de ses modèles par rapport à la base de référence humaine. Cependant, l'entreprise devrait continuer à affiner son processus d'évaluation et à intégrer de nouvelles données à mesure qu'elle progresse vers son objectif de réalisation de l'IAG. Les prochains développements comprendront probablement d'autres itérations des modèles d'IA basées sur les données collectées et des évaluations continues de leurs performances sur un éventail plus large de tâches.