Kandinsky Avatar: Sber yangi neyrotarmoq kodini ochiq e'lon qildi

Sber kompaniyasi oddiy surat va ovoz yozuvi asosida gaplashuvchi videoavatsarlarni yaratishga mo'ljallangan Kandinsky Avatar 1.0 neyrotarmoq modellar oilasini taqdim etdi. Mazkur modellarning kodi va vaznlari GitHub, GitVerse hamda Hugging Face platformalarida ochiq holda joylashtirildi. Dasturchilar va ijodkorlar ushbu texnologiyadan to'liq foydalanishlari mumkin bo'lib, u tijoriy loyihalarda ham bepul qo'llanilishi ta'minlangan.

• Kandinsky Avatar 1.0 bir daqiqagacha bo'lgan videolarni 24 kadr tezlikda yaratadi.
• Tizim 95 tildagi 1 milliondan ortiq video parchalari asosida o'qitilgan.
• Pro va oddiy uy video kartalarida ishlovchi yengil Lite versiyalari mavjud.
• Personajning emotsiyalari va jestlarini matn yordamida boshqarish mumkin.

Texnik imkoniyatlar va model turlari

Yangi model bir daqiqagacha bo'lgan videoroliklarni sekundiga 24 kadr chastotasida generatsiya qilish imkoniyatiga ega. Video hosil qilish uchun foydalanuvchi tasvir, ovoz yozuvi va sahna haqidagi qisqacha matnli tavsifni yuklashi kifoya qiladi. Neyrotarmoq lab harakatlarini nutq bilan mukammal sinxronlashtiradi, mimika, bosh burilishlari va jestlarni qo'shadi. Shuni ta'kidlash kerakki, model ovozni o'zi sintez qilmaydi yoki nusxalamaydi, balki foydalanuvchi taqdim etgan audiodan foydalanadi.

Kandinsky Avatar 1.0 ikkita variantda taqdim etilgan. Pro versiyasi HD formatida video yaratishga mo'ljallangan bo'lsa, yengillashtirilgan Lite versiyasi oddiy uy sharoitidagi video kartalarda ham ishlaydi va SD formatida videolar ishlab chiqaradi. Modellarni o'qitish jarayonida 95 ta tildagi bir milliondan ortiq video parchalari qo'llanilgan bo'lib, bu yuqori sifatni ta'minlaydi.

Test natijalari va raqobatchilar bilan solishtirish

Taqdimot doirasida o'tkazilgan ko'r-ko'rona test sinovlarida Pro versiyasi Kling Avatar 2, LongCat-Avatar-1.5 va HeyGen IV kabi muqobil yechimlar bilan taqqoslandi. Sinov natijalariga ko'ra, Kandinsky videolari raqobatchilaridan mos ravishda 63%, 60% va 54% hollarda ustun deb topildi. Modelning asosiy ustunligi artikulyatsiyaning nutq bilan sinxronligi hamda harakatlarning tabiiyligida namoyon bo'ldi.

Shuningdek, matnli ko'rsatmalar orqali personajning quvonch yoki qayg'u kabi hissiyotlarini boshqarish imkoniyati mavjudligi uni yanada qulay qiladi. MIT litsenziyasi asosida tarqatilayotgan bu vosita ishlab chiquvchilar uchun katta imkoniyatlar eshigini ochadi.

Dasturchilar va biznes uchun ahamiyati

Ushbu texnologiyani ta'lim platformalari, virtual maslahatchilar, video kurslar, kontentni mahalliylashtirish, o'yinlar va shaxsiy video murojaatlar yaratish xizmatlarida qo'llash mumkin. Kelgusida Sber o'zining shaxsiy mahsulotlariga ham ushbu videoavatsarlarni keng joriy etishni rejalashtirmoqda. Bu esa MDH mintaqasidagi dasturchilar uchun sun'iy intellekt asosida yangi turdagi xizmatlarni yaratish yo'lini ochadi.