Qwen2.5 7B va 32B kvantlash testlari: 4-bitli model o'zini oqlamoqda, 1-bit esa ishdan chiqmoqda
Sun'iy intellekt modellarini kvantlash jarayonlari bo'yicha o'tkazilgan so'nggi testlar 4-bitli versiyalar o'z imkoniyatlarini yaxshi saqlab qolishini, o'ta past bitli 1-bitli modellar esa butunlay yaroqsiz holatga kelishini ko'rsatdi.
Sun'iy intellekt hamjamiyatida yirik til modellarini kvantlash, ya'ni ularning hajmini kichraytirib, resurs tejash jarayoni doirasida yangi qiziqarli sinovlar o'tkazildi. Xususan, mashhur ochiq kodli modellar oilasiga kiruvchi Qwen arxitekturasi asosidagi tizimlarning turli bitli kvantlash darajalari sinovdan o'tkazildi.
Hacker News platformasida muhokama qilingan ushbu benchmark natijalariga ko'ra, modelni 4-bitli formatga o'tkazish uning asosiy imkoniyatlari va aniqligiga deyarli putur yetkazmaydi. Bu esa cheklangan hisoblash quvvatiga ega bo'lgan dasturchilar uchun yuqori unumdorlikni saqlab qolish imkonini beradi.
Biroq, modellarni ekstremal darajada siqishga urinishlar, jumladan 1-bitli kvantlashga o'tish kutilganidek muvaffaqiyatsizlikka uchradi. 1-bitli versiyalarda modelning mantig'i va matn generatsiya qilish qobiliyati butunlay buzilib, natijalar yaroqsiz holatga kelishi aniqlandi.
Mazkur tadqiqot natijalari mahalliy sun'iy intellekt ishqibozlari va o'z serverlarida ochiq modellarni ishga tushiruvchi mutaxassislar uchun muhim ahamiyatga ega. U apparat ta'minoti resurslarini tejashda aynan qaysi chegaradan o'tish mumkin emasligini yaqqol ko'rsatib beradi.
