Субтитры при просмотре видео набирают популярность на платформе «VK Видео». Их сегодня применяют уже 11 % от всей аудитории сервиса. За последний месяц доля тех, кто использует функцию субтитров в веб-версии, выросла на 28 %.

«VK Видео» стремится сделать субтитры еще более понятными и удобными. Для автоматического распознавания речи и синтеза субтитров в роликах, шоу, клипах и другом контенте на платформе внедрены новые алгоритмы искусственного интеллекта. Это привело к повышению точности анализа и расшифровки речи на 25 %.

Нельзя не учитывать быстрое обучение нейросетей. ИИ освоил уже тысячи новых слов, среди которых есть и профессиональные термины, и имена собственные, а также акронимы и мемы. Совсем скоро искусственный интеллект научится разделять речь разных спикеров на отдельные фразы. Это также будет способствовать появлению качественных субтитров.

Генерацией автоматических субтитров занимаются ML-модели – они создают текст и синхронизируют с видео, расставив знаки препинания. Чтобы повысить точность, аудиопоток обрабатывается ИИ в несколько этапов. Сначала нейросетью отсекаются посторонние шумы, и распознаваемая речь превращается в набор фраз. В удобный и хорошо читаемый текст их выстраивают модели пунктуации и денормализации. Завершающим этапом становится синхронизация получившегося текста с аудиодорожкой.

Субтитры необходимы в ситуациях, когда нет возможности включить звук при просмотре видео. Кроме того, они помогают людям с нарушениями слуха.

Источник: CNews