GPT-6 Astra может читать и писать веса нейросетей для Qwen

Исследователи обнаружили, что современные передовые языковые модели способны напрямую читать и модифицировать веса нейронных сетей, превосходя ожидания людей и традиционных алгоритмов. Это открытие может существенно изменить подходы к оптимизации и интерпретируемости искусственного интеллекта.

• GPT-6 Astra способна определять назначение сети по ее сырым весам без какого-либо анализа выполнения.
• Модель исправила 0.016% весов Qwen3.5-0.8B, подняв точность в математическом бенчмарке MATH-500 с 7.9% до 48.1%.
• Подход назван Weight-Space Programming и работает на основе логического рассуждения, а не градиентного спуска.

Что такое Weight-Space Programming и как это работает Традиционно веса нейросетей оптимизируются с помощью символических алгоритмов вроде градиентного спуска, оптимизаторов Adam или Muon. Однако исследователи представили ранние результаты новой парадигмы, в которой языковые модели рассуждают о весах напрямую как о тексте. Модель понимает, какие вычисления производит каждый компонент сети, и вносит точечные изменения на основе текстовых спецификаций. В ходе экспериментов выяснилось, что Astra может успешно определять, для какой игры была обучена конкретная сеть, распознавать формы, генерируемые диффузионными моделями, и даже создавать небольшие игровые сети с нуля. При этом модель способна выявлять скрытые проблемы и дефекты в архитектуре, опираясь исключительно на анализ числовых значений весов.

Оптимизация языковой модели Qwen без градиентов Одним из самых ярких достижений стало улучшение модели Qwen3.5-0.8B. Поставленная задача заключалась в повышении математических способностей модели без использования традиционных циклов обучения. Astra выявила в весах проблему, вызывающую циклы рассуждений, о которых предупреждала сама официальная документация модели. Внеся изменения всего в 0.016% весов, модель смогла радикально улучшить показатели. Точность в тесте MATH-500 подскочила с 7.9% до 48.1%, а показатель следования инструкциям IFEval вырос в три раза. Этот метод продемонстрировал впечатляющую способность к обобщению без предварительной обратной связи от среды.

Значение для разработчиков и индустрии ИИ Появление программирования в пространстве весов знаменует собой отход от сугубо автоматических методов оптимизации к осмысленному редактированию параметров моделей. Если раньше ИИ использовался для написания промптов и кода обучения, то теперь он начинает напрямую управлять внутренней структурой нейросетей. Для разработчиков и исследователей это открывает новые горизонты в области интерпретируемости и исправления ошибок моделей. В будущем инженеры смогут точечно исправлять нежелательное поведение или галлюцинации языковых моделей через прямое редактирование весов по текстовому описанию, минуя дорогостоящие этапы переобучения.