Расширение функций мозга

0:13

This media is not supported in your browser

VIEW IN TELEGRAM

Уникальные наушники позволяют одновременно переводить речь нескольких людей, сохраняя их голосовые особенности и пространственные характеристики речи

Исследователи из Университета Вашингтона разработали систему на основе наушников, которая способна одновременно переводить речь нескольких говорящих, при этом сохраняя направление и особенности голосов. Эта система, получившая название Spatial Speech Translation, использует обычные шумоподавляющие наушники, оснащённые микрофонами, и алгоритмы, которые выделяют речь каждого человека в пространстве, следят за их перемещениями и переводят речь с задержкой в 2-4 секунды. При этом сохраняется естественное звучание голосов и их направление, что позволяет более точно передавать информацию в многолюдных и шумных условиях.

Первым шагом система определяет, сколько человек говорит в помещении или на улице, благодаря алгоритмам, работающим по принципу, аналогичному радару, постоянно сканирующим окружение и обновляющим данные о количестве говорящих. После этого она переводит речь, сохраняя ее выразительные характеристики и громкость, и воспроизводит её через наушники. В процессе перемещения говорящих или их голов, система продолжает отслеживать изменение направления и качества голосов, что позволяет сохранять естественное восприятие происходящего.

Тестирование системы проходило в различных условиях, как внутри помещений, так и на улице, с участием 29 человек, и результаты показали предпочтение пользователей к системе, которая отслеживает речь говорящих в пространстве. Пользователи отметили, что оптимальной является задержка в 3-4 секунды, так как меньшая — 1-2 секунды — приводила к ошибкам при переводе. На данный момент система работает с обычной речью на нескольких языках, включая испанский, немецкий и французский, а в будущем планируется расширить её до большего числа языков и улучшить скорость перевода. Эта разработка представляет собой шаг к преодолению языковых барьеров и позволяет, например, туристам или деловым людям в чужой стране получать точный перевод речи собеседников в реальном времени, даже в шумных условиях.

https://dl.acm.org/doi/10.1145/3706598.3713745

👍4🔥3🤗1

www.group-telegram.com/us/augmented_brain.com/9927

731 viewsMay 11 at 06:08

Уникальные наушники позволяют одновременно переводить речь нескольких людей, сохраняя их голосовые особенности и пространственные характеристики речи

Исследователи из Университета Вашингтона разработали систему на основе наушников, которая способна одновременно переводить речь нескольких говорящих, при этом сохраняя направление и особенности голосов. Эта система, получившая название Spatial Speech Translation, использует обычные шумоподавляющие наушники, оснащённые микрофонами, и алгоритмы, которые выделяют речь каждого человека в пространстве, следят за их перемещениями и переводят речь с задержкой в 2-4 секунды. При этом сохраняется естественное звучание голосов и их направление, что позволяет более точно передавать информацию в многолюдных и шумных условиях.

Первым шагом система определяет, сколько человек говорит в помещении или на улице, благодаря алгоритмам, работающим по принципу, аналогичному радару, постоянно сканирующим окружение и обновляющим данные о количестве говорящих. После этого она переводит речь, сохраняя ее выразительные характеристики и громкость, и воспроизводит её через наушники. В процессе перемещения говорящих или их голов, система продолжает отслеживать изменение направления и качества голосов, что позволяет сохранять естественное восприятие происходящего.

Тестирование системы проходило в различных условиях, как внутри помещений, так и на улице, с участием 29 человек, и результаты показали предпочтение пользователей к системе, которая отслеживает речь говорящих в пространстве. Пользователи отметили, что оптимальной является задержка в 3-4 секунды, так как меньшая — 1-2 секунды — приводила к ошибкам при переводе. На данный момент система работает с обычной речью на нескольких языках, включая испанский, немецкий и французский, а в будущем планируется расширить её до большего числа языков и улучшить скорость перевода. Эта разработка представляет собой шаг к преодолению языковых барьеров и позволяет, например, туристам или деловым людям в чужой стране получать точный перевод речи собеседников в реальном времени, даже в шумных условиях.

https://dl.acm.org/doi/10.1145/3706598.3713745

BY Расширение функций мозга