GDPx от SemiAnalysis: почему лучшие ИИ-модели решают всего 12% задач

Компания SemiAnalysis 2 ноября представила новый агентный бенчмарк GDPx, созданный для оценки возможностей современных ИИ-моделей в сложных профессиональных задачах. Авторы проекта Макс Кан, Эндрю Мегалаа и Дилан Пател разработали самую строгую систему тестирования для областей, за которые бизнес готов платить.

• Бенчмарк охватывает 11 сложных областей, включая проектирование чипов, кибербезопасность и право.
• Лучший общий результат показала модель Claude Opus 5.5 от Anthropic, набравшая наибольшее количество баллов.
• На каждую задачу моделям давалось до восьми часов работы в их родных программных оболочках.
• Выяснилось, что безопасность ИИ напрямую снижает баллы из-за ложных срабатываний встроенных классификаторов.

Охват отраслей и методология тестирования

Бенчмарк GDPx охватывает 11 ключевых направлений: проектирование чипов и железа, кибербезопасность, биологию, финансы, право, квантовый трейдинг, материаловедение, разработку ПО, а также рекурсивное самоулучшение ИИ и alignment (согласование с целями человека). Выбор областей обусловлен ожидаемым ускорением от ИИ в ближайшие годы. Задачи создавались 14 партнерами, разрабатывающими RL-среды для лабораторий, а на выполнение каждой давалось до восьми часов.

Авторы уделили особое внимание сравнению с прошлыми тестами, критикуя неинтерактивный характер бенчмарка GDPval от OpenAI и высокий уровень брака в задачах Terminal Bench 4.0. Модели работали в своих нативных интерфейсах, таких как Claude Code для Opus, Codex для Astra и Antigravity для Gemini, что обеспечивало максимальную чистоту эксперимента в реальных условиях.

Лидеры по направлениям и главные провалы

Общим лидером стала модель Claude Opus 5.5, победившая в квантовом трейдинге и проектировании железа. GPT-6 Astra от OpenAI лидирует в самоулучшении и материаловедении, Gemini 4 Carbon от Google стала лучшей в биологии и разработке ПО, а в кибербезопасности первенство захватила Muse Wonder Full от Meta. При этом сферы финансов и права пока не покорились ни одной модели, так как ни один из запусков не дал пригодного результата.

Результаты показали экстремальную сложность тестов: в юридических задачах на редлайн договора средняя оценка Opus 5.5 составила 44%, а в финансовом анализе качества прибыли ни одна из 25 попыток не увенчалась успехом. Кроме того, модели часто теряют баллы из-за собственных фильтров безопасности, срабатывающих на биологию и кибербезопасность, что доказывает реальную цену ограничений в процентных пунктах.

Анализ ошибок разработки и перспективы метрики

Разбор ошибок в разработке ПО показал, что 76% провалов связаны с выходом за рамки основной инструкции: модели ломают существующий код, не учитывают интеграцию и игнорируют пограничные случаи. Они склонны писать тесты под свой же код вместо проверки исходных требований. Зеленые тесты больше не доказывают надежность, если агент молча ломает соседние компоненты системы.

Главный вопрос заключается в том, станут ли приватные задачи GDPx общим стандартом индустрии или останутся внутренним инструментом аналитиков. Для бизнеса и разработчиков это сигнал о том, что текущие автономные агенты требуют более жесткого контроля качества и интеграционного тестирования, прежде чем доверять им сложные реальные процессы.