Сколько стоит разработка на JS: бенчмарк ИИ-агентов

Сообщество веб-разработчиков часто принимает решения на основе эмоций, а не фактов, заявляя об исключительной скорости или удобстве тех или иных инструментов. С приходом эры ИИ-агентов этот подход не исчез: фронтенды теперь переписывают под предлогом того, что определенный фреймворк лучше подходит для агентов. Разработчик Нолан Лоусон решил проверить эти утверждения на практике и провел детальный бенчмарк.

• Создано тестовое приложение на базе PokéAPI с использованием различных JS-фреймворков
• Каждый ИИ-агент (Opus 5.5) запускался в изолированной среде для сборки проекта
• Результаты оценивались по затратам токенов, времени разработки, объему кода и метрикам Lighthouse
• Проведено по 5 итераций для каждого фреймворка для минимизации случайных погрешностей

Методология эксперимента и ограничения

В рамках эксперимента перед агентами ставилась задача собрать небольшое, но полноценное приложение для поиска и фильтрации покемонов. Автор стремился уравнять условия, используя официальные MCP или навыки (skills) для каждого инструмента, чтобы исключить предвзятость. При этом архитектурные подходы (SSR или CSR) целенаправленно не навязывались, а агентам давалась полная свобода действий в рамках заданного спецификацией набора визуальных токенов.

Стоит учитывать стохастическую природу языковых моделей, которые могут выдавать разные результаты от запуска к запуску. Некоторые агенты тратили лишние токены на изучение устаревших или новых руководств по миграции, другие вовсе не использовали доступные MCP. Тем не менее, серия из пяти прогонов для каждого фреймворка позволила выявить устойчивые закономерности и средние показатели затрат.

Результаты по стоимости и эффективности

Анализ расходов на API показал заметную разницу между технологиями. Например, SvelteKit, Gracile+Lit и Angular оказались значительно дороже в сборке по сравнению с остальными участниками. В случае со SvelteKit агенты регулярно тратили токены на чтение руководств по миграции, так как версия оказалась слишком новой для обучающей выборки модели, а в Angular высокие затраты были напрямую связаны с общим объемом генерируемого кода.

Интересно отметить поведение самих агентов: далеко не все из них задействовали специализированные MCP или файлы навыков, даже когда они были доступны в зависимостях проекта. Например, агент TanStack Start обнаружил свои навыки лишь в двух тестах из пяти, а агент Nuxt вовсе проигнорировал MCP. Это отражает реальные сценарии использования ИИ, где разработчики редко принудительно контролируют каждый шаг ИИ-ассистента.

Что это значит для разработчиков и индустрии

Результаты эксперимента показывают, что выбор технологического стека в эпоху ИИ-кодинга влияет не только на разработчика или конечного пользователя, но и на финансовые затраты при генерации кода. Мифы о том, что определенные фреймворки волшебным образом ускоряют работу ИИ без дополнительных издержек, требуют пересмотра на основе объективных данных. Разработчикам стоит критически относиться к выбору инструментов и учитывать реальные бенчмарки, а не следовать слепо за рыночными трендами.