Inkling 2 Small: новый Mixture-of-Experts ИИ-модель от Thinking Machines

Компания Thinking Machines представила свое второе поколение языковых моделей под названием Inkling 2 Small. Эта новая система построена на архитектуре Mixture-of-Experts и имеет общую сложность в 594 миллиарда параметров, из которых 17 миллиардов активны на каждый токен, а также поддерживает обработку изображений и переменную степень глубины рассуждений.

• Представлена новая языковая модель Inkling 2 Small с архитектурой Mixture-of-Experts (MoE).
• Модель содержит 594 миллиарда общих параметров и 17 миллиардов активных параметров.
• Поддерживает мультимодальность (ввод изображений) и демонстрирует высокие результаты в агентном кодировании.
• Полноценные веса модели под лицензией Apache 2.0 станут доступны на следующей неделе после завершения внешнего тестирования безопасности.

Архитектура и производительность модели Inkling 2 Small значительно превосходит показатели предыдущих версий компании на индексе Artificial Analysis Intelligence Index, набрав 31 балл. Рост производительности стал возможен благодаря комплексным улучшениям на каждом этапе обучения, включая более эффективный претренинг и масштабный запуск обучения с подкреплением (RL). Модель способна решать сложные задачи в области агентного программирования, работы с изображениями, интеллектуального труда и логических рассуждений. Значительное внимание было уделено долгосрочным автономным задачам. Модель тренировалась с использованием RL на сотнях тысяч задач по программированию, где оценивался не просто факт прохождения модульных тестов, а сам подход ИИ к решению проблемы. Это позволяет Inkling 2 Small лучше следовать инструкциям, тщательно взвешивать изменения и самостоятельно проверять свою работу в реальных рабочих процессах.

Мультимодальные возможности и визуальный контроль Модель оснащена мощным визуальным энкодером на 292 миллиона параметров, основанным на подходе Perception Encoder. Она использует патчи 20x20 пикселей с пространственным пулингом и чередует их с текстовыми токенами. Благодаря этому Inkling 2 Small демонстрирует отличные результаты в задачах оптического распознавания текста (OCR), интерпретации инфографики и визуальных рассуждений. Интересным примером возможностей визуального анализа стало тестирование ИИ в слепой дегустации вина по одной фотографии. Модель успешно справилась с задачей, правильно определив сорта и годы трех вин в 19 случаях из 20, основываясь исключительно на цвете и прозрачности напитка в бокалах.

Доступность и планы по открытию весов На первом этапе модель Inkling 2 Small становится доступной через платформу Tinker в режиме с закрытыми весами, следуя подходу компании к безопасному открытию технологий. Пользователи могут тестировать ее в Tinker Playground, а также использовать для тонкой настройки (fine-tuning). Создатели намерены опубликовать полные веса под свободной лицензией Apache 2.0 уже на следующей неделе после прохождения тестов на безопасность и ред-теминга. Для специалистов в области машинного обучения и разработки этот релиз знаменует появление мощного инструмента, способного не только писать код, но и проводить автономные исследования, оптимизировать GPU-ядра и выполнять сложные финансовые или количественные задачи с высоким уровнем точности.