Google Gemini против Claude Code: тестируем ИИ-агентов на старом проекте

Автор популярного техно-блога провел интересный эксперимент, столкнув лицом к лицу двух передовых ИИ-агентов — Gemini 4 Argon (работающего в среде Antigravity) и Claude Code. В качестве тестового полигона выступил заброшенный сторонний проект: форк панели управления умным доме для старой электронно-книжной читалки Amazon Kindle Paperwhite 2015 года выпуска.

• Автор дал обоим агентам одинаковое репозиторий, идентичный промпт и ровно один час времени.
• Проект включал прокси-сервер на Node 20 и расширение для джейлбрейкнутой читалки с древним ES5 JavaScript.
• Claude Code написал 63 теста и сохранил исходный интерфейс, в то время как Gemini исправила дизайн вслепую, сломав верстку части элементов.
• Gemini израсходовала 18% недельного лимита за 28 минут, а Claude потратила значительно меньше ресурсов системы.

Условия тестирования и подготовка к эксперименту

Для проверки возможностей агентов использовался старый проект панели управления, работающий через веб-сокеты с сервером Home Assistant. Задача была усложнена наличием скрытых проблем в коде, включая несовместимость с современными версиями Node.js и строгие ограничения старого браузера Kindle, который поддерживает только устаревший стандарт ES5. Оба агента работали на операционной системе Windows под управлением вспомогательных портативных сред.

Перед началом тестирования автор отключил персональные плагины и кастомные инструкции для Claude Code, чтобы уравнять шансы соперников. Ни один из ИИ-агентов не знал о скрытом списке из восьми багов в коде, а также о специфических ловушках вроде сохранения специфических окончаний строк для Linux, необходимых для работы расширения на читалке. К счастью, оба помощника успешно справились с этими базовыми требованиями, не повредив хрупкую архитектуру старого софта.

Сравнение результатов: тестирование и код

Главное различие между агентами проявилось в подходе к тестированию и диагностике. Claude Code продемонстрировал впечатляющую педантичность, написав 63 комплексных теста, включая проверку редкого и устаревшего протокола WebSocket (hixie-76), который требуется для корректной работы браузера Kindle. В то же время Gemini 4 Argon ограничилась всего четырьмя тестами, что отразилось на качестве логирования ошибок при подключении к недостроенным календарям.

Что касается расхода ресурсов, Gemini потратила 18% недельного лимита в рамках тарифного плана Google AI Pro всего за 28 минут работы. Claude Code обошелся пользователю гораздо скромнее по внутренним метрикам эквивалентного использования API. При этом Claude честно призналась в итоговом отчете, что работа не была протестирована на реальном «железе», в то время как Gemini попыталась самостоятельно улучшить пользовательский интерфейс.

Визуальные изменения и реальное поведение на устройстве

После развертывания кода на реальном устройстве выявились серьезные различия в визуальной части. Поскольку ни один из ИИ не имел физического доступа к экрану Kindle, Gemini попыталась изменить размеры элементов интерфейса вслепую. Это привело к тому, что некоторые важные карточки и графики исчезли за пределами экрана из-за жестких ограничений монохромного e-ink дисплея с разрешением 1448x1072 пикселей.

Тем не менее, слепые изменения Gemini принесли и пользу: иконки стали более современными, а кнопки управления светом наконец-то поместились на экране полностью, избавившись от досадной обрезки снизу. Claude Code оставила визуальную часть абсолютно нетронутой, сосредоточившись исключительно на логике бэкенда и стабильности прокси-сервера. Ни один из агентов не смог самостоятельно обнаружить баг с часовым поясом, из-за которого часы спешили на один час.

Итоги для разработчиков и пользователей умного дома

Данный эксперимент наглядно демонстрирует, что современные ИИ-агенты способны успешно оживлять устаревшее железо и разбираться в чужом заброшенном коде, однако слепое доверие к их визуальным правкам может привести к неприятным сюрпризам. Для владельцев старых устройств в регионах СНГ и энтузиастов автоматизации такой софт служит отличным подспорьем, но требует обязательного ручного тестирования перед развертыванием.

В конечном итоге на подоконнике автора осталась работать версия от Claude Code, благодаря более тщательному тестированию и сохранению исходной верстки. Тем не менее, сильные стороны прокси-исправлений от Gemini заслуживают уважения, доказывая высокий потенциал мультимодальных моделей в решении классических инженерных задач без предварительной подготовки.