Gemma 4: ускорение работы модели на 137 процентов с помощью MTP

Мир локальных ИИ-моделей развивается стремительно, и пользователи, не обновляющие свои инструменты, рискуют упустить значительный прирост производительности. Недавнее обновление Google для семейства Gemma 4 под названием Multi-Token Prediction (MTP) позволяет кардинально изменить скорость работы нейросети, превращая обычное использование в высокоэффективный процесс.

• Использование MTP-драфтера увеличило скорость генерации Gemma 4 12B со 75 до 179 токенов в секунду.
• Прирост производительности на RTX 4070 Ti Super составил впечатляющие 137%.
• Технология speculative decoding позволяет драфтеру предсказывать токены, которые затем проверяет основная модель.
• Настройка требует обновления llama.cpp и добавления всего четырех флагов запуска.

Как работает технология MTP В основе значительного ускорения лежит архитектура предсказания нескольких токенов (Multi-Token Prediction). Google внедрила этот механизм для реализации так называемого спекулятивного декодирования. Вместо того чтобы заставлять большую модель генерировать каждый токен последовательно, легкий "драфтер-модель" делает серию прогнозов заранее. Затем основная модель Gemma 4 подтверждает эти догадки параллельно, что экономит вычислительные ресурсы. Даже если модель отклоняет некоторые догадки драфтера, процесс не останавливается, и система исправляет ошибку на лету. Этот метод наиболее эффективен для плотных (dense) моделей, таких как Gemma 4 12B, где структура данных или программного кода часто предсказуема, что позволяет достичь колоссального ускорения.

Практическая настройка Чтобы активировать функцию, необходимо скачать соответствующий файл драфтера (например, mtp-gemma-4-12B-it.gguf) из того же репозитория, где была взята основная модель. Важно использовать связку, обученную вместе, чтобы обеспечить максимальную совместимость. После этого в llama.cpp достаточно запустить сервер с дополнительными параметрами: указать путь к файлу драфтера, разместить его в памяти GPU и задать количество догадок (spec-draft-n-max). Тесты показали, что даже задачи по написанию текста, которые сложнее поддаются прогнозированию, демонстрируют прирост скорости на 73%. Задачи по написанию кода или генерации JSON-структур показывают результат выше 200 токенов в секунду, так как стандартные шаблоны кода легко угадываются вспомогательной моделью.

Значение для пользователей Для энтузиастов и разработчиков в нашем регионе, использующих локальные LLM на собственном железе, это обновление открывает доступ к почти «облачной» скорости ответа без необходимости покупки дорогостоящих ускорителей. Возможность использовать Gemma 4 на домашнем ПК с такой высокой эффективностью делает локальный ИИ более доступным для создания сложных приложений, написания кода и автоматизации задач прямо на своем оборудовании, сохраняя полную конфиденциальность данных.