Weight-space programming: новый метод улучшения ИИ без дообучения

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL) предложили инновационный метод повышения эффективности ИИ-моделей под названием «Программирование в пространстве весов» (Weight-space programming). Новый подход позволяет улучшать нейросети путем прямого редактирования их весов без необходимости традиционного дообучения или повторного обучения, что в перспективе может значительно ускорить разработку.

• Ученые применили модель GPT-6 Astra от OpenAI для редактирования весов открытой модели Qwen3.5-0.8B.
• Результат в бенчмарке MATH-500 вырос с 7,9% до 48,1% при изменении всего 0,016% параметров.
• Успех был достигнут главным образом за счет устранения повторяющихся логических рассуждений.
• Исследователи сравнивают этот процесс с генной инженерией для нейросетей.

Эксперименты и возможности метода

В ходе экспериментов исследователи использовали языковую модель для анализа целевой нейросети, изучения ее поведения и самостоятельного определения изменяемых весов без использования градиентного обучения. ИИ-исследователь Юйчэн Цзинь охарактеризовал эту технологию как «генную инженерию для нейронных сетей», которая даже круче дистилляции. Целевое редактирование весов потенциально способно сократить время и вычислительные ресурсы, хотя метод пока находится на стадии экспериментов.

Если технологию удастся сделать достаточно надежной, разработчики получат инструмент для быстрой коррекции работы нейросетей и повышения их производительности. В будущем модели смогут модифицировать другие модели или даже самих себя. Точные показатели экономии ресурсов пока не установлены, а сам подход требует дальнейшего изучения и доработки для достижения стабильных результатов.

Ограничения и споры в ИИ-сообществе

Новый подход нельзя назвать универсальным. Например, в эксперименте с моделью Gemma 3 270M правки от модели Astra не привели к улучшению математических способностей, так как у данной сети не наблюдалось проблемы с повторами. Кроме того, без предоставления дополнительных данных модель не смогла надежно различать типы поведения.

Мнения экспертов разделились: одни видят в методе инструмент для быстрой поддержки моделей, другие опасаются рисков ускорения неконтролируемого прогресса. Максим Фурн, гендиректор организации Pause AI, выразил обеспокоенность, отметив потенциальные угрозы глобальной катастрофы при столь стремительном развитии технологий без должной безопасности.

Значение для индустрии и перспективы

Развитие методов редактирования весов может кардинально изменить подход к оптимизации искусственного интеллекта. Если методика докажет свою эффективность и безопасность, IT-компании смогут существенно снизить затраты на обучение крупных языковых моделей и быстрее устранять их логические ошибки.

Тем не менее, дискуссии вокруг этической стороны и рисков бесконтрольного самосовершенствования ИИ продолжают оставаться острыми. Сообщество разработчиков и исследователей должно взвесить потенциальные преимущества оптимизации и угрозы, связанные с ускорением технологической гонки.