Как работает распознавание речи: как голос в звонке превращается в текст
Команда Sado AI · · 4 мин чтения
Коротко
Распознавание речи (ASR или STT) — технология, которая превращает сказанные слова в текст. В звонке она слушает голос короткими кусочками, определяет, что человек договорил, выбирает самые вероятные слова по звуку и контексту и приводит числа и время к записи цифрами. По телефону это сложнее: узкая полоса звука, шум, смесь узбекских и русских слов, номер диктуют частями. Проверяйте качество не общим процентом, а по главному: номер телефона, имя, дата и адрес.
Что такое распознавание речи
Распознавание речи — по-английски ASR (automatic speech recognition) или STT (speech-to-text) — превращает голос в текст. На нём работают голосовой поиск в телефоне, субтитры к видео, расшифровка голосовых сообщений.
В голосовом ИИ-операторе это первое звено. Клиент говорит, система превращает речь в текст, следующая часть по этому тексту понимает, что спросили, и готовит ответ. Если распознавание ошиблось, ошибётся и всё остальное: если «четверг» услышан как «пятница», клиента запишут не на тот день.
Как голос в звонке превращается в текст
- Звук делится на короткие кусочки. Система не ждёт, пока клиент договорит: она работает по ходу речи.
- Определяется начало и конец фразы. Система отделяет голос от шума и смотрит на паузы: короткая пауза — человек думает, длинная — договорил. От этого шага зависит и скорость ответа, и то, перебьёт ли оператор клиента.
- Из звуков получаются слова. Нейросеть обучена на многих часах записей: она знает, какой звук похож на какое слово и какое слово обычно идёт за каким. Поэтому после «двести…» она ожидает «тысяч сум».
- Текст приводится в порядок: «девяносто один, пятьсот двенадцать» → «91 512», «в полодиннадцатого» → «10:30».
- Текст передаётся дальше: следующая часть понимает, чего хочет клиент, и составляет ответ. Вся цепочка: что такое голосовой ИИ-оператор.
Почему по телефону сложнее
- Узкий звук: телефонная линия передаёт только часть голоса, и звуки вроде «с» и «ш», «ф» и «п» становятся похожими.
- Шум: звонок с улицы, из машины, с базара или по громкой связи.
- Смесь языков: «Zakaz bersam, dostavka bepulmi?» — узбекские и русские слова в одной фразе.
- Цифры: номер телефона диктуют группами, цену называют «полтора миллиона».
- Имена и названия мест: Шахзода, Абдурахмон, махалли и ориентиры.
- Говоры и быстрая речь: в каждом регионе произносят немного по-своему.
Против ошибок помогают две вещи: хорошая модель, обученная на телефонной речи, и повтор важного. Если оператор, записав номер, переспросит «91 512 45 67, верно?», ошибка исправится тут же.
Как проверить качество распознавания
Специалисты считают WER — долю ошибок в словах: неверные, пропущенные и лишние слова ÷ все сказанные слова. Например, 14 ошибок в разговоре из 200 слов: 14 ÷ 200 = 7%. Это только пример. Для бизнеса важнее другой вопрос: правильно ли записаны нужные данные?
| Что проверить | Как проверить | Чем грозит ошибка |
|---|---|---|
| Номер телефона | Продиктуйте номер группами: «девяносто один, пятьсот двенадцать, сорок пять, шестьдесят семь» | Менеджер не сможет перезвонить |
| Дата и время | Скажите «в четверг в четыре», «послезавтра утром» | Клиента запишут не на то время |
| Имя | Назовите имя и фамилию, потом посмотрите запись | В CRM останется неверное имя |
| Адрес | Назовите с ориентиром: «Чиланзар, 9-й квартал, за базаром» | Курьер заблудится |
| Смешанная речь | Вставьте русское слово в узбекскую фразу | Оператор не поймёт вопрос |
После каждой проверки прочитайте текст звонка: вы увидите, что именно услышала система. Один звонок сделайте из шумного места.
Распознавание речи в Sado
Sado слушает и говорит на узбекском и русском и понимает слова, смешанные в одной фразе. Если диктуете номер группами, оператор не перебивает после первой группы, а ждёт до конца. Запись и полный текст каждого звонка хранятся в кабинете: видно, что оператор услышал и что ответил.
Подробнее: ИИ-оператор, говорящий по-узбекски и ИИ-оператор для входящих звонков. Проверьте сами: позвоните 78 778 01 23 или попробуйте вживую.
Вопросы
Распознавание речи и голосовой оператор — одно и то же?
Нет. Распознавание только превращает голос в текст. Голосовой оператор после этого понимает вопрос, отвечает, записывает клиента и передаёт итог в CRM. Короткие ответы: частые вопросы.
Поймёт ли он говор или быструю речь?
Надёжнее всего проверить самому, говоря как обычно. Позвоните 78 778 01 23, а потом посмотрите, что оператор понял.
Бывает ли распознавание без ошибок?
Нет, по телефону и человек иногда слышит неправильно. Поэтому номер, дату и адрес полезно повторять и подтверждать, а запись звонка остаётся в кабинете.