Microsoft запатентовала ИИ для изменения речи и лиц людей прямо во время трансляций ixbt.com
Microsoft подала патент на систему искусственного интеллекта, которая сможет изменять видео и аудио живых выступлений практически в реальном времени. Описанная технология не просто редактирует звуковую дорожку: ИИ-агенты должны будут менять изображение говорящего, в том числе движения губ и выражение лица, чтобы они соответствовали новой версии речи.
Система сможет фильтровать определённые слова и фразы, удалять их или заменять другими. Для этого она будет использовать заранее заданные параметры или пользовательские профили. Алгоритм также должен корректировать видео и звук непосредственно до и после изменённого фрагмента, чтобы переходы выглядели и звучали естественно.
Среди возможных применений Microsoft называет перевод прямых трансляций на предпочтительный для зрителя язык. Система также сможет убирать слова-паразиты, исправлять заикание и другие особенности речи. В патенте перечислены и более спорные варианты: удаление местных выражений и разговорных оборотов, неправильно произнесённых или употреблённых слов, а также оскорбительных и неуместных высказываний. Слова для замены система, согласно описанию, сможет подбирать в том числе с помощью поиска в интернете.
Технологию предполагается применять к самым разным форматам: лекциям, презентациям, телевизионным программам, церемониям, шоу и спортивным трансляциям. Так, зритель сможет получать не только перевод, но и персонально отредактированную версию выступления — с формулировками, которые система сочтёт подходящими под его настройки.
В патенте предусмотрено сохранение исходных видео и аудио в качестве эталонной записи. Это может помочь отличать оригинальную трансляцию от обработанной версии, однако само наличие такой функции не исключает путаницы при распространении изменённых записей.
Комментарии 1
Войдите, чтобы участвовать в обсуждении.
Тут бы уточнить: патент — это ещё не продукт, у Microsoft таких заявок тысячи, и до релиза доходит меньшинство. Как биолога меня скорее смущает техническая часть: подменить губы и мимику так, чтобы не сработал «зловещий» эффект рассинхрона, — задача потяжелее, чем фильтрация звука, глаз такое ловит мгновенно. И если система молча правит прямую речь, зрителю надо явно показывать, что он смотрит отредактированную версию, иначе «удаление местных выражений» — это уже не перевод, а тихая цензура.