GPT-6 Astra va MIT CSAIL: neyrotarmoq vaznlarini to‘g‘ridan-to‘g‘ri o‘zgartirish

MIT CSAIL tadqiqotchilari Sparks of Weight-Space Programming nomli texnik hisobotni e'lon qilib, sun'iy intellekt sohasidagi yangi yondashuvni taqdim etishdi. OpenAI tomonidan yaratilgan GPT-6 Astra til modeli boshqa neyrotarmoqning vaznlarini o'qish, ulardagi muammolarni topish va ularni ma'lumotlar asosida qayta o'qitmasdan turib to'g'ridan-to'g'ri tahrirlash imkoniyatiga ega bo'ldi. Ushbu texnologiya sun'iy intellekt xulq-atvorini tubdan o'zgartirish uchun yangi eshiklarni ochadi.

Asosiy jihatlar va natijalar: - Ish mualliflari qatoriga Rikiya Takehi, Jeyden Teo, Aleks Chjan va Omar Xattab kiradi. - Alibaba'ning ochiq Qwen3.5-0.8B modeli fikrlashdagi siklga tushib qolish muammosidan xalos qilindi. - Atigi 0,016% vaznlarning o'zgartirilishi MATH-500 testidagi natijani 7,9% dan 48,1% gacha ko'tardi. - Vazifa tabiiy tilda qo'yildi va modeldan foydalanish jarayonida qo'shimcha o'qitish talab qilmadi.

Tadqiqot doirasida Alibaba kompaniyasining Qwen3.5-0.8B modeli sinovdan o'tkazildi. Ma'lum bo'lishicha, model tokenlar limiti sababli matematik masalalarni yecha olmayotgan edi, chunki u doimiy ravishda bir xil fikrlash siklida qolib ketar edi. Astra muammoning ildizini topib, 15 va 19-qatlamlardagi MLP bloklarida kerakli o'zgarishlarni amalga oshirdi. Natijada 131 mingdan ortiq parametr muvaffaqiyatli tahrirlandi.

Mualliflarning ta'kidlashicha, ushbu yondashuv ilgari tadqiqotchilar tomonidan haftalab tahlil qilinadigan mexanik interpretatsiyani avtomatlashtirish imkonini beradi. Biroq ushbu texnologiya cheklovlarga ham ega. Masalan, Google'ning Gemma 3 270M modeli bilan bu usul ish bermadi, chunki unda bunday xatolar mavjud emas edi. Vaznlarni to'g'irlash mavjud to'siqlarni olib tashlashi mumkin, ammo yangi qobiliyatlarni qo'shishga qodir emas.

Kichik ochiq modellardan o'z serverlarida foydalanadigan dasturchilar uchun bu usul LoRA yordamida qayta o'qitishga arzon muqobil bo'lishi mumkin. Agar modelda ma'lum bir xulq-atvor nuqsoni bo'lsa, uni to'g'ridan-to'g'ri tuzatish vaqt va resurslarni tejaydi. Shu bilan birga, frontir modellarning boshqa neyrotarmoqlar vaznini o'zgartira olishi xavfsizlik masalalarini, jumladan, ochiq modellarning kelib chiqishini tekshirish muhimligini yanada oshiradi.