Команда VK Видео в 10 раз увеличила объём видео с субтитрами и повысила точность обработки расшифровки речи

В пресс службе VK отметили, что речь говорящего оформляется в текстовые субтитры в виде предложений со знаками препинания и заглавными буквами с учётом особенностей разговорной, узкоспециализированной лексики и неологизмов. В пользовательской ленте на главном экране 8 из 10 видео будут доступны с новыми субтитрами.

Автоматические субтитры в VK Видео генерируют ML-модели. Аудиопоток из видео проходит через несколько этапов обработки. Сначала нейросеть убирает посторонние шумы, выделяет речь и преобразует её в слова, а другие модели превращают расшифровку в текст. Финальный AI синхронизирует получившийся текст с аудиодорожкой. AI-модель допускает на 30% ошибок меньше, чем аналогичные модели генерации субтитров в подобных сервисах, – рассказали в компании.

Субтитры работают в профессиональных роликах и в пользовательском контенте. Они полезны людям с нарушениями слуха и в ситуациях, когда включение звука в видео нежелательно.

Также в компании сообщили, что соцсеть ВКонтакте расширяет возможности покупок в онлайн-трансляциях. Теперь бизнес сможет добавить в эфир сразу несколько карточек на товары, а пользователи – купить понравившиеся в стриме товары в пару кликов.

Новая функция позволит предпринимателям настроить дополнительный канал продаж в видеоформате и выстроить более тесное взаимодействие с подписчиками в режиме реального времени.

#IT_News #VK #видео #субтитры

Подписаться