Ripple-65B Preview: обзор новой языковой модели для агентного программирования

Лаборатория Ricursive Intelligence представила Ripple-65B Preview, универсальную версию проприетарной языковой модели, которая лежит в основе их платформы проектирования чипов с поддержкой искусственного интеллекта. Новая модель предварительно обучена на 12 триллионах токенов и поддерживает длину контекста до 1 миллиона токенов, демонстрируя выдающиеся результаты в агентном программировании среди моделей с открытыми весами.

• Ripple-65B Preview набрала 80.52 балла на TerminalBench 2.1, обогнав более крупные модели вроде Reflection Beam 501B и Meta Muse Spark Open 816B.
• Полная стоимость разработки и обучения модели с нуля составила всего $32 млн, что значительно дешевле аналогов.
• Плотная архитектура модели обеспечивает высокую скорость генерации токенов и эффективную работу на локальных устройствах вроде NVIDIA DGX.

Архитектура и высокая эффективность обучения

В отличие от многих конкурентов, использующих сложную архитектуру Mixture-of-Experts (MoE), создатели Ripple-65B Preview выбрали модернизированную плотную структуру (dense Transformer). Это решение позволило снизить инфраструктурную сложность и поддерживать стабильную утилизацию оборудования на уровне 40% на протяжении всего процесса обучения. Модель имеет тонкую и глубокую форму с узким размером скрытого слоя и 80 слоями, а также оптимизированное внимание для достижения максимальной производительности.

Для повышения эффективности инженеры постепенно улучшали модель через серию экспериментов на базе архитектуры Olmo 3. Они внедрили масштабирование шагов, сигмоидальное шлюзовое внимание и остаточные значения весов. В результате комплексных улучшений код-производительность выросла в 16 раз по сравнению с базовыми аналогами при сопоставимых затратах вычислительных ресурсов.

Экономичность и доступность для разработчиков

Одной из главных особенностей проекта стала его экономичность: затраты в $32 млн включают полный цикл R&D, сбор данных, отладку и генерацию синтетических данных без покупки сторонних датасетов. Модель уже доступна на таких платформах, как Hugging Face, Together AI, GMI Cloud и OpenRouter, открывая новые возможности для разработчиков и исследователей в области создания автономных агентов.