NLP Master

Итак, на новой работе от меня не требовалось обучать модели машинного обучения с нуля, а требовалось только поддерживать правильную работу Nuance. Для этого нужно было делать следующее.

- Скачивать с сервера некоторое количество звонков и их логов каждый день (я не помню сколько, по 100 на каждом языке и для каждой компании, наверное). Логи были сохранены в огромные текстовые файлы, и из них нужно было делать таблицы csv. Это все делалось через баш-скрипты, потому что сервера были на Windows и питона там не было, и ставить его не разрешалось. Поэтому мне пришлось освоить основы bash.

- Звонки нужно было прослушать и сопоставить с логами. В логах был автоматически транскрибированный текст звонка и то, как звонок был маршрутизирован. Нужно было оценить, правильно ли распознан текст, если неправильно, то предположить почему (шумно, человек говорит что-то не по теме и так далее). И правильно ли звонок маршрутизирован, то есть получил ли звонящий то, что хотел. В каждой компании было по 15-20 интентов: оплатить фактуру, перерегистрировать услуги на другого человека, авария, пожаловаться и так далее.

- Звонки были почти на всех испанских языках: на кастельяно, каталанском, галисийском, баскском (не было валенсийского). У каждого в отделе лингвистов были свои компании и языки, за которые он отвечал. У меня были две энергетические компании и звонки на испанском и галисийском (он очень похож на испанский, и слушать его было несложно).

- Если компания-клиент хотела добавить или убрать какие-то интенты, то нам нужно было сделать тематический корпус, поместить его в Nuance и переобучить модели. Сперва этот корпус был синтетический, а затем туда добавлялись реальные звонки.

- Также нужно было генерировать голос для ответов бота, и мы очень мучались, когда модель для синтеза голоса на испанском не могла произнести какой-нибудь звук из иностранного слова, как в названии Naturgy. В испанском нет фонемы /dʒ/, и Nuance читал это как “натурхи”.

- Всякое по мелочам, где требовалось “не бояться командной строки”.

www.group-telegram.com/id/about_nlp.com/131

534 viewsSep 11, 2022 at 12:00

Итак, на новой работе от меня не требовалось обучать модели машинного обучения с нуля, а требовалось только поддерживать правильную работу Nuance. Для этого нужно было делать следующее.

- Скачивать с сервера некоторое количество звонков и их логов каждый день (я не помню сколько, по 100 на каждом языке и для каждой компании, наверное). Логи были сохранены в огромные текстовые файлы, и из них нужно было делать таблицы csv. Это все делалось через баш-скрипты, потому что сервера были на Windows и питона там не было, и ставить его не разрешалось. Поэтому мне пришлось освоить основы bash.

- Звонки нужно было прослушать и сопоставить с логами. В логах был автоматически транскрибированный текст звонка и то, как звонок был маршрутизирован. Нужно было оценить, правильно ли распознан текст, если неправильно, то предположить почему (шумно, человек говорит что-то не по теме и так далее). И правильно ли звонок маршрутизирован, то есть получил ли звонящий то, что хотел. В каждой компании было по 15-20 интентов: оплатить фактуру, перерегистрировать услуги на другого человека, авария, пожаловаться и так далее.

- Звонки были почти на всех испанских языках: на кастельяно, каталанском, галисийском, баскском (не было валенсийского). У каждого в отделе лингвистов были свои компании и языки, за которые он отвечал. У меня были две энергетические компании и звонки на испанском и галисийском (он очень похож на испанский, и слушать его было несложно).

- Если компания-клиент хотела добавить или убрать какие-то интенты, то нам нужно было сделать тематический корпус, поместить его в Nuance и переобучить модели. Сперва этот корпус был синтетический, а затем туда добавлялись реальные звонки.

- Также нужно было генерировать голос для ответов бота, и мы очень мучались, когда модель для синтеза голоса на испанском не могла произнести какой-нибудь звук из иностранного слова, как в названии Naturgy. В испанском нет фонемы /dʒ/, и Nuance читал это как “натурхи”.

- Всякое по мелочам, где требовалось “не бояться командной строки”.

BY NLP Master