"Яндекс Браузер" научился переводить и озвучивать по-русски прямые эфиры на YouTube — задействовано сразу четыре нейросети
В "Яндекс Браузере" появилась возможность синхронно переводить и озвучивать на русском языке не только видео, уже выложенные в общий доступ на YouTube и Vimeo, но и делать тоже самое в реальном времени для онлайн-трансляций — озвучка возможна прямо по ходу эфира. Новая функция пока доступна в режиме открытого бета-тестирования и ограничена фиксированным набором каналов.
За 10 месяцев пользователи "Яндекса Браузера" просмотрели 81 млн роликов с закадровым переводом, пишут разработчики "Яндекс Браузера". После этого стал доступным перевод в формате титров, а сейчас настал черёд прямых эфиров. Автоматизированный синхронный перевод — задача сложная. Одному иностранному слову в зависимости от контекста могут соответствовать несколько русских, поэтому в идеале нейросети необходимо «скормить» как можно больше текста. Однако при работе в режиме реального времени это крайне трудная задача, поскольку задержка должна быть минимальной.
Поэтому потребовалось перестроить всю архитектуру автоматизированного перевода, задействовав сразу несколько нейросетей: первая распознаёт звуковой ряд и переводит его в текстовый формат, вторая определяет пол говорящего человека, третья расставляет знаки препинания и смысловые акценты, а четвёртая уже получает результат работы третьей и собственно производит перевод и озвучку.
Список поддерживаемых системой YouTube-каналов доступен на специальной странице. В перспективе разработчики "Яндекс Браузера" планируют добавить синхронный перевод к стримам в Twitch. Сейчас нейросети "Яндекса" работают с английским, немецким, французским, итальянским и испанским языками, позже будут добавлены ещё несколько европейских языков, а также японский, китайский и другие.
Источник: 3dnews.ru