Анализ данных (Data analysis)

🗣 Dia — это новаяоткрытая модель текст‑в‑речь от Nari Labs с 1.6 млрд параметров, способная генерировать полноценный диалог с богатой экспрессией.

Ключевые возможности:
- Ультра‑реалистичный диалог. Генерация согласованных реплик двух «говорящих» персонажей, помеченных тэгами [S1] и [S2] в одном тексте.

- Эмоции и тон. Можно задавать тональность и интонацию через акустический запрос (audio prompt), а также управлять «невербалкой»: смех, кашель, вздохи и т. д.

- Voice cloning. Клонирование голоса по короткому образцу: подгрузите аудио и его транскрипт, и модель адаптируется под заданный тембр
GitHub

Модель написана на Python (100 % кода) с использованием PyTorch 2.0 и CUDA 12.6

Производительность и требования:

Полная версия требует ≈10 GB VRAM; в будущем планируется квантование модели.

Установка и запуск:


pip install git+https://github.com/nari-labs/dia.git
git clone https://github.com/nari-labs/dia.git
cd dia
uv run app.py # или python app.py

В интерфейсе Gradio сразу можно оценить разницу с ElevenLabs и Sesame CSM‑1B

Лицензия: Apache 2.0.

Dia отлично подходит для ML‑исследований в TTS: вы получаете открытые весовые файлы, гибкий API для скриптов и UI для быстрой проверки гипотез.

На данный момент Dia поддерживает генерацию речи только на английском языке

▪Demo
▪Github
▪HF

@data_analysis_ml

www.group-telegram.com/cn/data_analysis_ml.com/3504

5.7K viewsApr 22 at 07:12

🗣 Dia — это новаяоткрытая модель текст‑в‑речь от Nari Labs с 1.6 млрд параметров, способная генерировать полноценный диалог с богатой экспрессией.

Ключевые возможности:
- Ультра‑реалистичный диалог. Генерация согласованных реплик двух «говорящих» персонажей, помеченных тэгами [S1] и [S2] в одном тексте.

- Эмоции и тон. Можно задавать тональность и интонацию через акустический запрос (audio prompt), а также управлять «невербалкой»: смех, кашель, вздохи и т. д.

- Voice cloning. Клонирование голоса по короткому образцу: подгрузите аудио и его транскрипт, и модель адаптируется под заданный тембр
GitHub

Модель написана на Python (100 % кода) с использованием PyTorch 2.0 и CUDA 12.6

Производительность и требования:

Полная версия требует ≈10 GB VRAM; в будущем планируется квантование модели.

Установка и запуск:


pip install git+https://github.com/nari-labs/dia.git
git clone https://github.com/nari-labs/dia.git
cd dia
uv run app.py # или python app.py

В интерфейсе Gradio сразу можно оценить разницу с ElevenLabs и Sesame CSM‑1B

Лицензия: Apache 2.0.

Dia отлично подходит для ML‑исследований в TTS: вы получаете открытые весовые файлы, гибкий API для скриптов и UI для быстрой проверки гипотез.

На данный момент Dia поддерживает генерацию речи только на английском языке

▪Demo
▪Github
▪HF

@data_analysis_ml

BY Анализ данных (Data analysis)