GPT-6 Astra и отчет MIT CSAIL: как ИИ меняет веса нейросетей

Исследователи из MIT CSAIL опубликовали технический отчет под названием Sparks of Weight-Space Programming, в котором описали новый метод работы с искусственным интеллектом. Языковая модель GPT-6 Astra от OpenAI получила возможность напрямую читать и корректировать веса другой нейросети. Это позволяет находить проблемы в поведении моделей и исправлять их на уровне чисел, из которых они состоят, полностью обходя этап классического обучения на данных.

Основные моменты исследования: - Авторами работы выступают Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб. - Модель Qwen3.5-0.8B от Alibaba избавили от зацикливания в рассуждениях. - Изменение всего 0,016% весов подняло точность на тесте MATH-500 с 7,9% до 48,1%. - Подход использует естественный язык для описания задачи и требует минимум вычислительных ресурсов.

Практическим примером работы технологии стало исправление открытой модели Qwen3.5-0.8B от Alibaba. Исходная версия модели часто проваливала математические задачи из-за того, что зацикливалась в рассуждениях и упиралась в лимит токенов. Astra проанализировала поведение модели, выявила проблемное направление в пространстве активаций и скорректировала веса в MLP-блоках, изменив около 131 тысячи параметров без переобучения.

Авторы работы отмечают, что метод представляет собой автоматизацию механистической интерпретируемости, на которую у людей-исследователей уходили недели. Тем не менее, подход имеет ограничения. Например, с моделью Gemma 3 270M от Google этот трюк не принес результатов, так как та изначально не имела аналогичных проблем с зацикливанием, а правка весов способна лишь убрать препятствие, но не добавить новые когнитивные способности.

Для разработчиков, использующих локальные открытые модели на собственном железе, эта техника открывает интересные перспективы. Прямое редактирование весов может стать дешевой альтернативой трудоемкому дообучению через LoRA, если речь идет об устранении конкретных поведенческих дефектов. С другой стороны, способность фронтирных моделей точечно модифицировать чужие весы поднимает вопросы безопасности, делая проверку происхождения открытых моделей критически важной процедурой для индустрии.