Как перевести голос персонажей в видео, не теряя их оригинальные особенности выражения

Обычно, когда упоминают Видеоперевод(перевод голоса в видео), имеют в виду замену человеческого голоса в видео на предустановленный голос. Действительно, это позволяет перевести исходный речевой контент на другой язык, но после перевода видео каждое предложение можно понять, однако слушается оно непривычно: теряется та самая манера речи оригинальных персонажей видео, тот стиль.

Это именно та проблема, которую необходимо решить при переводе видео с оригинальным аудио и человеческим голосом: не только чтобы зрители понимали другой язык, но и чтобы по возможности сохранить те особенности выражения, которые изначально нравились людям в оригинальном видео.

Так называемый перевод голосового сопровождения видео — это преобразование устного содержания видео на целевой язык и создание голоса, синхронизированного с изображением. Некоторые инструменты также предоставляют функции перевода субтитров, редактирования голоса и синхронизации движения губ персонажей.

Особенно функция редактирования голосов в видео: если вы хотите получить более качественное видео перевода, вы должны лично проверить его как человек, скорректировать результаты целенаправленно.

Что такое видео с переводом голоса? Чем он отличается от субтитров?

Типичный процесс перевода голоса в видео включает: распознавание исходной речи, перевод текста, создание дубляжа на целевом языке, а затем объединение дубляжа с видео. Субтитры также могут быть созданы одновременно.

По сравнению с простым переводом субтитров, его наиболее наглядное отличие заключается в том, что зрители могут прямо слышать на целевом языке тембр, эмоции и ритм, схожие с оригинальным голосом персонажей видео, и им не нужно постоянно полагаться на текст на экране для понимания содержания или смотреть видео, слушая голос, явно не соответствующий стилю речи оригинального персонажа.

Несколько легко путаемых концепций можно различать следующим образом:

Автоматический аудиоперевод (automated audio translation) работает так же. В отличие от перевода видео, аудиоперевод не требует синхронизации аудио и видео, а в видео переводе помимо точности перевода нужно учитывать, насколько звук согласован с изображением. Например, даже если инструкция по эксплуатации переведена правильно, если соответствующая кнопка уже исчезла с экрана, зритель всё равно может не успевать за происходящим.

Как перевести видео более высокого качества?

Сначала сохраняйте смысл и намерение субтитров.

Например, обучающие видео требуют точных шагов, демонстрационные видео продуктов требуют ясного объяснения функций, а личные истории требуют полной эмоциональной предыстории.

Даже незначительные изменения могут изменить смысл: 'вы можете выключить эту настройку' и 'вы должны выключить эту настройку' — это не одно и то же. Названия продуктов, числа, единицы измерения и отрицательные слова следует проверять в первую очередь.

Какой бы приятной ни была музыка, она не сможет компенсировать проблему неправильного перевода информации.

Пусть перевод будет разговорным, а не как сухая инструкция

Подходящий для чтения перевод не обязательно подходит для прямого произнесения вслух. Порой дословное соответствие сохраняет структуру предложения, но теряет изначально естественное выражение.

Критерий оценки заключается не в том, чтобы было как можно короче, а в том, чтобы было точно, естественно и соответствовало отношениям между говорящим и аудиторией.

Сохраняйте необходимые паузы и ритм

Выражение одного и того же смысла на разных языках требует разного времени. Перевод, который кажется коротким, может выглядеть слишком поспешно, когда его вставляют в видеоклип.

Перед проверкой важной информации следует обратить внимание на паузы, наличие пространства для дыхания между последовательными инструкциями, а также успевает ли объяснение за изменениями в кадре. При необходимости, не теряя информации, лучше упростить формулировку, чем насильно вставлять больше слов.

По возможности восстановить оригинальный голос персонажей в видео

Кроме того, чтобы субтитры были переведены естественно, точно и соответствовали ритму изображения, голос персонажей видео при произнесении переведённых реплик также должен максимально сохранять тембр, эмоции, ритм и другие особенности исходного произнесения. Представьте, что любимый персонаж внезапно может говорить на языке, которого вы ждёте, прямо для вас — разве это не отличный опыт! Поэтому для продуктов, предоставляющих перевод голосов из видео, следует одновременно обеспечивать возможность автоматического восстановления голоса персонажей, а также возможность повторной генерации одного и того же фрагмента речи несколько раз, чтобы получить максимально удовлетворительный результат перевода.

Почему после автоматического перевода все еще нужен вычитка?

Автоматически сгенерированная версия предоставляется для оценки и не является гарантией того, что каждое предложение подходит для немедленной публикации.

Рекомендуется сначала проверить распознавание исходного текста, затем проверить перевод, и наконец, сопоставить с изображением и прослушиванием. Фоновый шум, одновременная речь нескольких людей и незнакомые собственные названия могут привести к ошибкам еще до начала перевода. Если название продукта в исходном тексте распознано неправильно, последующая озвучка, даже если она будет плавной, не сможет решить эту проблему.

На этапе перевода главным образом проверяются смысл, термины, цифры и естественность речи. На этапе прослушивания внимание уделяется произношению, паузам, а также согласованности повествования с изображением. Такой порядок помогает определить, на каком именно этапе возникает проблема, а не повторно исправлять то, что и без того верно.

Если вы не знаете целевой язык, важные материалы лучше поручить проверять человеку, знакомому с этим языком. Обратный перевод перевода может помочь проверить часть информации, но не может доказать, что озвучка на самом деле звучит естественно.

Как проверить и улучшить результаты перевода в SoulDub?

SoulDub объединяет автоматические субтитры, перевод и озвучивание с помощью ИИ, а также предоставляет возможность корректировки текста и ручной доработки звуковых фрагментов. Поэтому стоит обращать внимание не только на то, можно ли создать видео, но и на то, сможет ли человек вмешаться для дальнейшего улучшения после обнаружения проблем.

Первый шаг: начните с короткого видео с представительной тематикой

Выбирайте материалы, на которые у вас есть права на использование, перевод и соответствующие звуковые права, например, короткие учебные курсы, объяснение продукта или личное представление.

Лучше включить название продукта, намеренную паузу и одну фразу, которую вы больше всего хотите, чтобы зрители запомнили. Так у вас будет конкретный объект для проверки после генерации.

Загрузите видео, выберите поддерживаемый язык и создайте задание.

Шаг второй: сверить оригинальные субтитры с переводом текста

Сначала слушайте оригинальный звук, читая распознаваемый текст, исправляйте ошибки в именах, числах и терминах, а затем оценивайте, точно ли перевод передает исходный смысл.

SoulDub предоставляет функции проверки и редактирования субтитров оригинального текста и перевода. При внесении изменений можно задавать себе вопросы: поймёт ли целевая аудитория эту фразу при первом прослушивании? Соответствует ли она тону исходного видео? Не упущены ли необходимые условия?

Не переписывайте каждое предложение только потому, что существует другой способ его сказать. В первую очередь решайте проблемы, которые могут повлиять на понимание или впечатление от просмотра.

Третий шаг: при необходимости заново сгенерировать голос

Изменение текста не приведет к автоматическому обновлению уже созданного озвучивания или готового видео. После корректировки перевода следует заново сгенерировать соответствующую озвучку с помощью доступных действий в задаче и убедиться, что конечный результат использует новую версию.

Конкретные действия и доступные функции зависят от состояния задачи. При обработке сложно выражаемых предложений удобнее вносить одно явное изменение за раз, чтобы легче было определить, связано ли улучшение с сокращением формулировок, исправлением терминов или изменением структуры предложения.

Шаг четвертый: полное прослушивание вместе с изображением

По отдельности каждый фрагмент слушается нормально, но при их соединении это может казаться резким. Поэтому перед экспортом следует воспроизвести видео с начала до конца, проверить совпадение голоса, субтитров и ключевых кадров, а также убедиться, что последние изменения внесены в финальное видео.

Можно сначала провести небольшой эксперимент: перевести небольшой фрагмент видео в SoulDub, особое внимание уделив одному имени, одной паузе и одной ключевой информации. Так легче оценить, подходит ли результат для вашего материала, чем просто смотреть, был ли создан файл.

Часто задаваемые вопросы

Перевод голоса в видео — это клонирование голоса?

Нет. Первое меняет язык, второе имитирует определенные особенности звука. А Souldub сочетает оба подхода и идет еще дальше, не требуя предоставления семплов голоса для клонирования, кроме самого видео.

Искусственный интеллект может полностью сохранить эмоции исходного говорящего?

Нельзя рассматривать это как гарантию. Эффект зависит от возможностей системы, материалов, перевода и контекста. Основное внимание должно уделяться тому, поддерживают ли интонация и ударения исходное выражение мысли, а не только схожесть тембра. Хотя говоря так, souldub приложил усилия, чтобы сохранить это, и с нетерпением ждём, когда вы попробуете сами.

После перевода и озвучки нужны ли еще субтитры?

Субтитры все еще ценны: они помогают зрителям, которые смотрят с выключенным звуком, глухим и людям с нарушениями слуха, а также облегчают понимание незнакомых имен и профессиональных терминов. После изменения озвучки не забудьте синхронно проверить субтитры.

Можно ли изменить перевод SoulDub?

Можно проверять и редактировать субтитры исходного текста и перевода, а также редактировать аудиофрагменты. После внесения изменений необходимо подтвердить, что озвучка и окончательный результат обновлены синхронно, конкретно ориентируясь на интерфейс текущего задания.

Пусть выражение пересекает языки, а не только заменяет слова

Смысл перевода видео заключается в том, чтобы другая группа зрителей понимала содержимое, которое стоит поделиться. Точное значение, естественные формулировки, подходящий ритм и чёткий звук вместе формируют этот опыт.

Не обязательно начинать с всей видеотеки. Сначала выберите знакомый материал и целевой язык, сгенерируйте, проверьте, прослушайте, а затем определите, что еще нужно улучшить.

Используй SoulDub, чтобы перевести твое первое видео, начни с попытки с чёткой целью проверки, чтобы увидеть, как твоё выражение будет выглядеть на другом языке.