В сентябре OpenAI запустила новый процесс оценки, направленный на сравнение производительности своих моделей ИИ с результатами работы профессионалов в различных отраслях. Компания рассматривает это сравнение как важнейший показатель своего прогресса в достижении общего искусственного интеллекта (AGI), определяемого как система ИИ, способная превзойти возможности человека в большинстве экономически ценных задач.

В одном конфиденциальном документе OpenAI говорилось: «Мы наняли людей из разных профессий, чтобы помочь собрать задачи из реального мира, смоделированные на основе тех, которые вы выполняли на своей основной работе, чтобы мы могли измерить, насколько хорошо модели ИИ справляются с этими задачами. Возьмите существующие части долгосрочной или сложной работы (часы или дни), которую вы выполняли по своей профессии, и превратите каждую в задачу».

Усилия по сбору данных подчеркивают сохраняющуюся проблему оценки производительности ИИ, особенно по мере того, как модели становятся все более сложными. Сравнивая результаты работы ИИ с реальной работой людей, OpenAI стремится получить более точное представление о сильных и слабых сторонах своих моделей. Этот подход отражает растущую тенденцию в области ИИ к более строгим и ориентированным на человека методам оценки.

Последствия достижения AGI далеко идущие, потенциально преобразующие отрасли и меняющие характер работы. Хотя OpenAI подчеркивает потенциальные выгоды AGI, такие как повышение производительности и инновации, разработка также вызывает опасения по поводу вытеснения рабочих мест и этических соображений, связанных с все более автономными системами ИИ.

Запрос к подрядчикам на предоставление их работ поднимает вопросы о конфиденциальности данных и интеллектуальной собственности. Неясно, какие меры OpenAI принимает для защиты конфиденциальности чувствительной информации, содержащейся в представленных задачах. Компания пока не опубликовала подробности о конкретных мерах защиты, принятых для предотвращения неправомерного использования данных.

OpenAI продолжает совершенствовать свои методологии оценки по мере разработки более продвинутых моделей ИИ. Ориентация компании на производительность на уровне человека подчеркивает важность согласования разработки ИИ с человеческими ценностями и обеспечения того, чтобы системы ИИ были полезны для общества. Результаты этих оценок, вероятно, повлияют на будущее направление исследований и разработок OpenAI.