Kimi K3 (2.8T) на MacBook Pro: запуск массивной модели при помощи четырех SSD
Инженеры смогли запустить модель Kimi K3 на 2.8 триллиона параметров со скоростью 1 токен в секунду на MacBook Pro, используя потоковую передачу с четырех накопителей.
В технологическом сообществе активно обсуждается новое достижение, связанное с запуском крупномасштабных языковых моделей на потребительском «железе». Энтузиасты смогли задействовать модель Kimi K3 с 2.8 триллионами параметров на ноутбуке MacBook Pro.
Для достижения этого результата была использована потоковая передача данных одновременно с четырех твердотельных накопителей (SSD). В результате система выдает скорость генерации на уровне одного токена в секунду, что является впечатляющим результатом для портативного компьютера.
Подобные эксперименты показывают, как аппаратные ограничения могут быть преодолены с помощью нестандартного подхода к архитектуре хранения и передачи данных. До сих пор модели такого масштаба требовали кластеров из специализированных серверных видеокарт.
Для разработчиков и IT-специалистов в регионе СНГ это открывает новые горизонты для понимания локального запуска ИИ-систем. Хотя скорость в один токен в секунду не подходит для повседневных коммерческих задач, сам факт работы столь огромной модели на ноутбуке впечатляет.
