Лучший из нынешних ИИ-агентов решил лишь 12% рабочих задач в новом бенчмарке GDPx (наборе тестов, по которым сравнивают нейросети). Его представила аналитическая фирма SemiAnalysis, известная разборами рынка чипов и дата-центров. Первое место досталось Claude Opus 5.5 от Anthropic. У Gemini 4 Carbon от Google вышло 10,9%, у GPT-6 Astra от OpenAI 9,6%, у Muse Wonder Full от Meta 9%. Grok 4.7 набрал 3,9%, открытая GLM 5.3 всего 2,7%.
В бенчмарке 206 задач из 11 областей: проектирование чипов и «железа», биология, финансы, право, квантовый трейдинг, материаловедение, разработка программ и другие. Каждая рассчитана примерно на восемь часов работы специалиста. Агентов запускали в их родных средах, Claude Code для Claude и Codex для моделей OpenAI. За результат брали долю успехов с первой попытки, усредненную по трем прогонам. Задачи готовили 14 компаний, которые строят учебные среды для нейросетей, а проверяла их сама SemiAnalysis.
Набор областей авторы подбирали по финансовой полезности. Они считают, что первый триллион доходов от ИИ придется на отрасли, способные окупить самый дорогой интеллект, поэтому госсектор, недвижимость и страхование в тест не попали. Прежний эталон, GDPval от OpenAI, они критикуют за отсутствие реальной рабочей среды, из-за чего современных агентов он оценивает плохо.
Резче всего провал виден в финансах и праве. Задания там настолько сложны, что при оценке «выполнено или нет» почти у всех моделей выходит ровно ноль, и авторам пришлось считать частичные баллы. В правке устава для инвестиционного раунда Series B, где надо учесть конфликты между документами компании, Opus 5.5 набрал в среднем 44%, GPT-6 Astra 25%, а Gemini 4 Carbon лишь 2%. Лучший прогон Opus дошел до 57%, но безупречного результата не показал никто.
Финансовое задание не оказалось легче. Требовалось доработать модель, по которой оценивают качество прибыли компании в реальной сделке, а материалов набралось около 4000 файлов. Из 11 контрольных пунктов GPT 6.1 Sol в среднем закрывала 5,6, Opus 5.5 и Astra по 5,4, а GLM 5.3 и Grok 4.7 меньше двух. Лучшая одиночная попытка набрала восемь из одиннадцати, но целиком задачу не осилила ни одна нейросеть.
Нелегко пришлось и в «железе». Корпус компрессора под литье под давлением нужно было спроектировать с проверкой в SolidWorks (популярной программе для трехмерного проектирования), и полностью с этим не справилась ни одна нейросеть. В чипах требовалось исправить схему так, чтобы сигналы успевали дойти за отведенное время. Здесь GPT-6 Astra получил 0,34 балла из единицы, Claude Opus 0,135.
Самая любопытная задача проверяет, способен ли ИИ улучшать самого себя. Агенту выдали записи около 1000 обучающих прогонов, и он должен был найти ошибку в программе-обвязке, из-за которой модель бросала исследование на 32 тысячах токенов (токен — фрагмент текста, с которым работает нейросеть). Хорошо с этим не справилась ни одна из испытанных систем.
Универсала не нашлось. Opus сильнее остальных в квантовом трейдинге, проектировании чипов и «железа», Carbon в биологии, Astra в самоулучшении и материаловедении. К цифрам есть и оговорки. Запуски и выбор областей делала сама SemiAnalysis, поэтому независимой проверки пока нет. В части заданий оценку ставят нейросети-судьи по рубрикам экспертов. Кроме того, защитные фильтры занижают результат Opus 5.5 и Astra в ряде направлений, включая биологию. Если их вычесть, Astra выходит вперед на 0,1 процентного пункта, а Carbon опускается на пятое место.
Счет тоже заметен: Opus 5.5 обходится примерно в $51 за задачу, Astra в $54, а Carbon в $16, но он пока закрыт для широкой публики. Если поделить стоимость прогона лидера на долю успехов, то мы (ITNEWS.pro) подсчитали, что одно решенное задание обходится около $430.
