GPT-6 Astra neyrotarmoq vaznlarini o'qish va yozishni o'rgandi

Tadqiqotchilar ilg'or til modellari neyrotarmoq vaznlarini bevosita o'qish va tahrirlashda kutilmaganda yuqori natija ko'rsatayotganini aniqladilar. Bu kashfiyot sun'iy intellektni optimallashtirish va uning tushunarli bo'lishini ta'minlashda muhim burilish yasashi mumkin.

• GPT-6 Astra neyrotarmoqning xom vaznlariga qarab uning qanday vazifa uchun o'rgatilganini aniqlay oladi.
• Model Qwen3.5-0.8B vaznining atigi 0.016% qismini o'zgartirib, MATH-500 natijasini 7.9% dan 48.1% ga oshirdi.
• Ushbu yondashuv Weight-Space Programming deb nomlanib, gradient tushishisiz mantiqiy mulohaza asosida ishlaydi.

Vaznlar fazosida dasturlash konsepsiyasi Deep learning tarixi davomida biz vaznlarni optimallashtirish uchun Adam yoki Muon kabi kichik ramziy optimizatorlardan foydalanib kelganmiz. Biroq so'nggi natijalar shuni ko'rsatmoqdaki, neyrotarmoq vaznlari tez orada to'g'ridan-to'g'ri til modellari tomonidan mantiqiy tahlil qilinib optimallashtiriladi. Yangi usulda umumiy maqsadli til modeli tarmoq vaznlarini to'g'ridan-to'g'ri o'qiydi va o'zgartiradi. O'tkazilgan dastlabki tajribalarda Astra tarmoq og'irliklariga qarab uning qaysi o'yin uchun yaratilganini yoki diffuziya modellari qanday shakl hosil qilishini hech qanday qo'shimcha testlarsiz aniqlay oldi. Model har bir qism qanday hisob-kitob qilishini tushunib, shunga mos ravishda vaznlarni o'zgartiradi.

Qwen modelini gradientlarsiz yaxshilash Eng yorqin misollardan biri Qwen3.5-0.8B modelini matematik masalalarni yechishda kuchaytirish bo'ldi. Astra model vaznlarida mantiqiy halqalarni keltirib chiqaradigan muammoni aniqladi va 0.016% vaznlarni o'zgartirish orqali uni tuzatdi. Ushbu kichik o'zgartirish MATH-500 ko'rsatkichini 7.9% dan 48.1% gacha ko'tardi. Shuningdek, bu tuzatish ko'rsatmalarga amal qilish qobiliyatini ham uch baravarga oshirdi. Bularning barchasi modelga o'qitish sikllarini yozishga ruxsat bermasdan, faqat mantiqiy mulohaza yuritish orqali amalga oshirildi.

Dasturchilar va biznes uchun ahamiyati Ushbu texnologiya kelgusida sun'iy intellekt modellarini sozlash va ulardagi xatolarni bartaraf etish jarayonini tubdan o'zgartirishi mumkin. Dasturchilar va tadqiqotchilar qimmatbaho qayta o'qitish jarayonlarisiz, matnli ko'rsatmalar yordamida neyrotarmoq ichki tuzilmasiga to'g'ridan-to'g'ri o'zgartirishlar kiritish imkoniga ega bo'ladilar.