Запуск 104GB модели Qwen на Mac с 48GB памяти со скоростью 12 токенов в секунду
Разработчики смогли запустить тяжелую языковую модель Qwen объемом 104 ГБ на компьютере Mac с 48 ГБ оперативной памяти.
На платформе Hacker News появилась интересная дискуссия о возможностях оптимизации современных языковых моделей. Энтузиастам удалось запустить модель Qwen весом 104 ГБ на устройстве Mac, обладающем лишь 48 ГБ оперативной памяти.
В ходе тестов была зафиксирована скорость генерации на уровне примерно 12 токенов в секунду. Такой результат демонстрирует высокий уровень развития методов квантования и работы с памятью в современных условиях.
Подобные достижения становятся возможными благодаря особенностям архитектуры Apple Silicon и ее унифицированной памяти. Это позволяет эффективно распределять нагрузку и запускать задачи, которые раньше требовали специализированных серверных кластеров.
Для технологического сообщества региона такие эксперименты открывают новые горизонты. Возможность локального запуска мощных ИИ-моделей на потребительском железе снижает порог входа для разработчиков и исследователей, позволяя создавать инновационные продукты с минимальными затратами.
