Axion 1.0-35B: новая мощная агентная MoE-модель с открытым кодом

Исследователи из ByteDance и ведущих университетов США представили Axion 1.0-35B — агентную модель на базе архитектуры MoE, которая демонстрирует впечатляющие результаты в бенчмарке Humanity’s Last Exam. Разработчики не ограничились публикацией весов, предоставив сообществу полный рецепт обучения, включая датасеты и код.

• Архитектура: Модель на 35 млрд параметров с 3 млрд активных, базирующаяся на Qwen3.6-35B-A3B.
• Эффективность: 52,2% в тесте Humanity’s Last Exam (уровень GPT-5.5 и выше Gemini 3.1 Pro).
• Обучение: 18 000 примеров SFT и обучение с подкреплением (RL) без дистилляции.
• Доступность: Полный открытый доступ к весам, обучающим данным и пайплайну на Hugging Face.

Особенности и производительность Axion 1.0-35B выделяется среди конкурентов своей открытостью. В то время как многие лаборатории скрывают данные, авторы проекта опубликовали все этапы подготовки модели. Она обучалась в три этапа: от развития навыков логического рассуждения до интеграции с инструментами поиска и выполнения Python-кода. Несмотря на высокую эффективность, важно понимать, что это агентная модель. Ее заявленные показатели достигнуты в режиме ReAct с использованием внешних инструментов. Без соответствующей обвязки возможности модели будут более ограниченными, а сама она требует понимания архитектуры qwen3_5_moe для полноценного запуска.

Технические нюансы и требования Для запуска 35B-версии в четырехбитной квантизации потребуется около 20 ГБ видеопамяти, что делает ее доступной для мощных потребительских GPU. Сообщество уже адаптировало модель под формат GGUF, что позволяет запускать ее через llama.cpp. Стоимость обучения модели относительно невелика — всего несколько сотен долларов на GPU-часах, что открывает широкие возможности для небольших ML-команд. Однако стоит учитывать и критику: набор бенчмарков сфокусирован на научных задачах и не включает классическое кодирование, как в SWE-bench. Также авторы отмечают неравномерное влияние обучения с подкреплением на разные дисциплины, что подчеркивает необходимость дальнейших доработок.

Значение для индустрии Для разработчиков в СНГ Axion 1.0-35B — это мощный инструмент для создания кастомных агентов без зависимости от закрытых API гигантов вроде OpenAI или Google. Возможность легального использования под лицензией Apache 2.0 позволяет внедрять модель в корпоративные продукты, где важен контроль над данными и отсутствие ограничений облачных провайдеров.