Microsoft запатентовала ИИ для изменения речи и лиц на видео

Компания Microsoft подала патент на новую систему искусственного интеллекта, способную изменять видео и аудиозаписи живых выступлений практически в режиме реального времени. Описанная технология выходит далеко за рамки простой коррекции звуковой дорожки: специализированные ИИ-агенты должны будут синхронно модифицировать изображение говорящего человека, включая движения его губ и выражение лица, чтобы они идеально соответствовали измененному потоку речи.

• Патент описывает ИИ-систему для изменения видео и аудио в реальном времени.
• Технология синхронно редактирует движение губ и мимику под новую речь.
• Возможные применения включают перевод, удаление слов-паразитов и цензуру.
• Предусмотрено сохранение оригинальной эталонной записи для сравнения.

Принцип работы и возможности новой технологии

Согласно патентной заявке, инновационная система сможет фильтровать определенные слова и фразы, полностью удалять их или заменять на другие в соответствии с заранее заданными параметрами или пользовательскими профилями. Чтобы избежать искусственности, сложный алгоритм будет корректировать видеоряд и звуковое сопровождение непосредственно до и после измененного фрагмента. Это необходимо для того, чтобы переходы выглядели и звучали максимально естественно для конечного зрителя.

Инженеры Microsoft предусмотрели множество потенциальных сценариев использования разработки. Среди них наиболее очевидным является синхронный перевод прямых трансляций на любой предпочтительный для зрителя язык. Кроме того, технология способна автоматически убирать из речи слова-паразиты, исправлять заикание и другие индивидуальные особенности дикции, делая выступление более гладким и понятным.

Спорные функции и сценарии применения

В документации патента также перечислены более спорные варианты использования ИИ. Например, система сможет удалять местные выражения, разговорные обороты, неправильно произнесенные слова, а также любые оскорбительные или неуместные высказывания. Для подбора наиболее подходящих слов на замену алгоритм сможет использовать веб-поиск и контекстный анализ в реальном времени.

Технологию предполагается интегрировать в самые разные форматы медиаконтента: академические лекции, бизнес-презентации, телевизионные программы, официальные церемонии, развлекательные шоу и спортивные трансляции. По задумке авторов, каждый зритель сможет получать персонализированную версию выступления с формулировками, которые система сочтет наиболее подходящими под его личные настройки или возрастные ограничения.

Вопросы безопасности и этика использования

Несмотря на широкие возможности персонализации, патент учитывает потенциальные риски распространения недостоверной информации. В описании предусмотрено обязательное сохранение исходных видео- и аудиоматериалов в качестве эталонной записи для верификации. Это должно помочь специалистам отличать оригинальную трансляцию от глубоко обработанной версии.

Тем не менее, само появление подобных технологий вызывает серьезные дискуссии в экспертном сообществе. Возможность на лету менять слова, интонации и мимику спикеров стирает грань между реальностью и цифровой манипуляцией. В будущем это может серьезно повлиять на стандарты создания контента и доверие аудитории к живым трансляциям.