Sber otdal kod Kandinsky Avatar 1.0 dlya generatsii avatarov

Komanda razrabotchikov «Sbera» predstavila novuyu neyroset Kandinsky Avatar 1.0, kotoraya pozvolyaet sozdat animirovannogo govoryaschego personazha na osnove odnogo izobrazheniya i zapisi rechi. Vsyu tehnologiyu, vklyuchaya ishodnyy kod i vesa modeli, sdelali otkrytymi i dostupnymi dlya shirokogo kruga razrabotchikov po litsenzii MIT.

• Model sinhroniziruet dvizheniya gub, dobavlyaet mimiku, jesti i povoroty golovy po rechi i tekstu.
• Dostupny dve versii: Lite (2 mlrd parametrov, SD-video) i Pro (21 mlrd parametrov, HD-video).
• Kod i vesa rasprostranyayutsya besplatno cherez GitHub, GitVerse i Hugging Face.

Vozmozhnosti i tehnicheskie harakteristiki modeli

Kandinsky Avatar 1.0 obladaet shirokim funkcionalom dlya upravleniya personajami. Maneru rechi i nuzhnyye emotsii polzovateli mogut zadavat s pomoschyu obychnogo tekstovogo zaprosa. V kachestve avatara razreshaetsya ispolzovat kak realnyh lyudey, tak i personazhey multfilmov ili zhivotnyh. Osnovoy dlya obucheniya novoy razrabotki stala baza Kandinsky 5.0 Video, soderzhaschaya 1,17 milliona videofragmentov s odnim govoryaschim v kadre na 95 yazykah.

Dlya zapuska takih slozhnyh sistem rekomendovano ispolzovat moshnyye videokarty ot Nvidia. Versiya Lite trebuet ne menee 48 GB pamyati dlya generalii v SD-kachestve, a versiya Pro trebuet 80 GB dlya HD-video. Odnako dlya versii Pro predusmotren rezhim dekodirovaniya kadra po chastyam, kotoryy snizhaet pikovoye potreblenie pamyati do 28 GB, hotya eto mozhet privesti k poyavleniyu granits mezhdu uchastkami na video.

Rezultaty testirovaniya i sravnenie s konkurentami

Razrabotchiki proveli slepoye testirovanie Kandinsky Avatar 1.0 Pro s veduschimi otkrytymi i proprientarnymi modelyami na rynku. Uchastniki issledovaniya otsenivali pary rolikov po semi kriteriyam, ne znaya ih proishozhdeniya. V rezultate roliki ot «Sbera» vybirali chashe konkurentov: v 63% sluchaev protiv Kling Avatar 2, v 60% protiv LongCat-Avatar-1.5 i v 54% protiv HeyGen IV.

Znachenie dlya biznesa i IT-soobschestva

Otkrytiye koda i vesov pozvolyaet rossiyskim i mirovym razrabotchikam ispolzovat gotovuyu tehnologicheskuyu osnovu dlya sozdaniya uchebnyh, reklamnyh rolikov i personalnyh obrascheniy k klientam. Modeli mozhno legko vstraivat v sobstvennye produkty i doobuchat pod konkretnye zadachi bez neobhodimosti sozdavat analog s nulya. Krome togo, instrumenty integratsii dostupny v populyarnyh sredah ComfyUI i Diffusers.