ИТ-проекты пикабушников

Разработка компании даст возможность пользователям «Яндекс.Браузера» смотреть ролики на иностранном языке с закадровым переводом. Над созданием прототипа работало несколько команд. Сейчас в нём применяется технология синтеза речи «Яндекс.Переводчика» и функция, позволяющая определять пол говорящего для подбора соответствующего голоса. Для соответствия озвучки картинке автоматический переводчик делает паузы, и где-то замедляет, а где-то ускоряет синтезированную речь.

«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. "Яндекс.Браузер" давно умеет переводить тексты, в этом году стал переводить изображения, а перевод видео — следующий этап. Это большая сложная задача, которую никто в мире ещё не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше», — заявил руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот.

Тестовая версия нового алгоритма пока работает только с видеоматериалами на английском. Разработчики технологии опробовали её на видеозаписях на разные темы, включая изменение климата, машинное обучение, а также историю Плутона. Работа над прототипом продолжается — по словам команды «Яндекса», уже скоро пользователи смогут сами выбирать, какие ролики переводить с помощью новой технологии.

Посмотреть примеры материалов с закадровым переводом пользователи десктопной версии «Яндекс.Браузера» могут уже сейчас по этой ссылке.

Вступление

Привет всем! Заходя на YouTube мы ограничиваемся роликами, язык которых нам знаком, а великое множество контента на других языках мы игнорируем. "Как здорово было бы стереть эту границу!" – подумал я и создал «YouTube SubSound»

Это бесплатное расширение озвучивает субтитры на YouTube параллельно видеоролику и поддерживает русский, английский, японский, китайский, корейский, французский, немецкий, испанский, итальянский и польский языки.

Процесс разработки

Немного предыстории. Всё началось с идеи переводить и озвучивать фильмы и сериалы. Интересно было пощупать механику субтитров, синтеза речи и синхронизации с видеорядом. После недолгой попытки реализации стало понятно, что полезного и удобного применения этому я не смогу найти и всё остановилось особо и не начавшись.

Но через некоторое время, открыв какое-то видео на YouTube с субтитрами, я ощутил сложность одновременно следить за картинкой ролика и читать перевод. Сопоставив предыдущий неудачный опыт озвучки фильмов с новой проблемой, родилась идея оживить субтитры YouTube программно генерируемым голосом. Итак, я решил сделать расширение для Chrome, т.к. это самый удобный способ внедрить данную функцию.

Накидав небольшую демку на ~80 строк кода, я понял, что получается довольно неплохо, хоть и результат сильно зависит от качества перевода. Само собой, лучше всего выходило с роликами, где автор позаботился о написании/переводе субтитров. Но доработав код, удалось добиться довольно приемлемой слушабельности. И в какой-то момент, во время теста я слушал фоном интервью-ролик с очень быстрой подачей и обнаружил, что не только уловил суть, но и не почувствовал сильного дискомфорта (тут дело вкуса) при прослушивании!

Записал пару видео, нарисовал быстро логотип, сделал скриншоты и отправил расширение на модерацию в Chrome Web Store, где за 2 дня его проверили и опубликовали. Теперь любой желающий может его бесплатно установить.

Как пользоваться?

Первым делом нужно установить расширение «YouTube SubSound» в ваш браузер.

После чего открыть любой ролик с субтитрами, вывести их на предпочитаемом языке и активировать озвучку, нажатием НОВОЙ кнопки в плеере YouTube.

Всё! Голос будет идти параллельно с видео!

Дальнейшие планы

Озвучку на текущем этапе сложно назвать профессиональной. Поэтому в планах добавить синтез речи от Yandex и Google, которые должны улучшить качество звучания и восприятия слушателем.

Также есть идея регулировать скорость произношения и высоту голоса для отдельных фраз, дабы как можно сильнее приблизиться к оригинальной звуковой дорожке.

Заключение

Продукт призван помочь людям получить доступ к контенту, который в силу языкового барьера недосягаем или тяжело воспринимаем. YouTube SubSound даёт возможность смотреть обучающие, научно-популярные или развлекательные видео без привязки к конкретному языку!

Я с нетерпением жду ваших отзывов о разработанном мной расширении. Не стесняйтесь оставлять комментарии! И если вам понравилось, проголосуйте за проект на ProductHunt.

Пост не для плюсиков, а для получения обратной связи и предложениях, как улучшить сервис или что интересного в него можно добавить. Ну и просто узнать мнение о всей этой затеи)

Сервис состоит из двух частей: веб приложение (vue) с использованием webrtc - передача медиа траффика между собеседниками, web sockets (SignalR) - координирование собеседников, события и чат, rtcmulticonnection - реализация mesh p2p соединения между собеседниками; сервер (asp net core) - маршрутизация webrtc сообщений между пользователями и отдача статики.

Весь медиа траффик идет только от пользователя к пользователя, поэтому сервер не нагружен лишним траффиком. В комнате могут находится до 256 человек (ограничение p2p соединений на вкладку в хроме). Поддерживается демонстрация экрана, есть чат, аватарки из gravatar, история последних 10 посещенных комнат

Ссылка на репозиторий: https://github.com/AMEST/PeerMeeting

Ссылка на демо есть в репозитории ( оно развернуто на тестовом домене в зоне tk, который здесь запрещен :( поэтому ссылку разместить не могу)

Спасибо за внимание!)
И заранее спасибо за критику, предложения или просто за плюс!)