Kandinsky Avatar: Сбер открыл бесплатный доступ к нейросети

Сбер представил семейство нейросетевых моделей Kandinsky Avatar 1.0, которое позволяет создавать говорящие видеоаватары на основе обычной фотографии и аудиозаписи. Исходный код и веса моделей были опубликованы в открытом доступе на таких платформах, как GitHub, GitVerse и Hugging Face. Важным преимуществом является то, что технологию разрешено использовать абсолютно бесплатно, в том числе в коммерческих проектах под лицензией MIT.

• Kandinsky Avatar 1.0 создает видео до минуты в разрешении до HD.
• Модель обучена на более чем 1 млн фрагментов на 95 языках.
• Доступны две версии: Pro и облегченная Lite для домашних GPU.
• Поддерживается управление эмоциями и жестами с помощью текста.

Технические возможности и версии моделей

Новая разработка способна генерировать ролики продолжительностью до одной минуты с частотой 24 кадра в секунду. Для получения готового видео пользователю необходимо загрузить статичное изображение, звуковую дорожку с речью и короткое текстовое описание сцены. Нейросеть автоматически синхронизирует движения губ, добавляет естественную мимику, повороты головы и жесты. Интересно, что сама модель не занимается синтезом или копированием голоса, а использует именно предоставленный пользователем аудиофайл.

Линейка Kandinsky Avatar 1.0 включает в себя два варианта исполнения. Флагманская версия Pro ориентирована на создание роликов в высоком разрешении HD. В то же время облегченная модификация Lite оптимизирована таким образом, что может успешно работать на обычных домашних видеокартах, генерируя видео в SD-разрешении. В процессе обучения системы использовалась обширная база данных, состоящая из более чем миллиона видеофрагментов на 95 различных языках мира.

Результаты тестирования и сравнение с конкурентами

Разработчики провели слепое тестирование, в рамках которого возможности версии Pro сравнивались с популярными аналогами — Kling Avatar 2, LongCat-Avatar-1.5 и HeyGen IV. Результаты показали, что пользователи отдавали предпочтение роликам от Kandinsky в 63%, 60% и 54% случаев соответственно. Наиболее сильными сторонами модели были признаны безупречная синхронизация артикуляции с речью и общая естественность движений персонажа.

Кроме того, текстовые подсказки позволяют задавать персонажу определенные эмоции, например радость или грусть, что расширяет творческие возможности. Это делает технологию конкурентоспособной на глобальном рынке генеративного видео.

Где можно применить новые видеоаватары

Открытый доступ к моделям открывает широкие перспективы для создания образовательных платформ, виртуальных помощников, интерактивных видеокурсов и систем локализации контента. Также технологию можно интегрировать в видеоигры и сервисы, генерирующие персонализированные видеообращения для пользователей. В планах самого Сбера стоит активное внедрение созданных видеоаватаров в собственную экосистему и разнообразные цифровые продукты.