Как ИИ-оператор не выдумывает: защита от неверных цен и лишних обещаний
Команда Sado AI · · 4 мин чтения
Коротко
Галлюцинация ИИ — это когда модель там, где у неё нет данных, уверенно говорит придуманный ответ: несуществующую скидку, неверную цену, адрес чужого филиала. По телефону это особенно опасно: сказанное для клиента становится обещанием. Чтобы этого не было, оператор должен отвечать только из письменных данных компании, на незнакомый вопрос говорить «перезвонит менеджер» и соблюдать список того, что нельзя обещать. Данные должны быть короткими и свежими, а тексты звонков — регулярно просматриваться.
Что такое галлюцинация и откуда она берётся
Языковая модель строит ответ по принципу «самое вероятное следующее слово». Если данные есть, ответ получается верным. Если данных нет, модель не молчит: она угадывает, что обычно говорят в похожих компаниях, и говорит это уверенно.
В чате клиент может перечитать и проверить такой ответ. По телефону же прозвучало «Да, скидка есть» — и на кассе клиент потребует именно это. Как устроена модель: большие языковые модели в звонках.
Какие ошибки по телефону бывают чаще всего
| Вопрос клиента | Выдуманный ответ | Правильный ответ |
|---|---|---|
| «Скидки есть?» | «Да, сегодня скидка 15%» | Если есть в данных — называет, если нет: «Менеджер уточнит и перезвонит» |
| «У вас есть филиал в Сергели?» | «Да, возле Сергелийского базара» | Называет только филиалы из списка |
| «Завтра доставите?» | «Конечно, завтра до обеда» | Называет условия доставки, точный день не обещает |
| «Можно пить это лекарство вместе с другим?» | Даёт совет | «Это скажет врач или фармацевт» |
У этих ошибок общее одно: все они появляются там, где нет данных. Поэтому половина защиты — полные данные, а вторая половина — разрешение оператору сказать «не знаю».
Шесть правил, чтобы оператор не выдумывал
- Ответы только из письменных данных. Цены, адреса, часы работы, услуги, условия доставки даются оператору письменно, из других мест он их не берёт.
- Правило «не знаю». На вопрос, которого нет в данных, оператор говорит «Это уточнит менеджер и перезвонит», и создаётся задача.
- Список того, что нельзя обещать. Например: скидку, точный день доставки, срок гарантии, что цена не изменится.
- Данные короткие и без противоречий. Если рядом стоят старая и новая цена, модель не знает, какую назвать.
- Медицинские, юридические и финансовые вопросы — специалисту. Оператор записывает на приём, но не ставит диагноз и не даёт советов.
- Регулярно читать тексты звонков. Раз в неделю просмотрите, например, 10–20 расшифровок: есть ли в данных каждая цифра, которую назвал оператор?
Пример: вопроса нет в данных
Клиент: Здравствуйте, на оправы для очков сейчас есть скидка?
Sado: Здравствуйте! Оправы — от 250 тысяч сум. Точных данных о скидках у меня нет, менеджер уточнит и перезвонит вам. Хорошо?
Клиент: Хорошо, пусть звонит на этот номер.
Sado: Хорошо. Как вас зовут?
Клиент: Дильфуза.
Sado: Спасибо, Дильфуза. Менеджер вам перезвонит. Есть ещё вопросы?
Оператор сказал то, что знал, не стал выдумывать остальное и назначил следующий шаг. У менеджера готовая задача: кто, какой номер, какой вопрос. Оптика и цена — выдуманный пример.
Как это устроено в Sado
Оператор Sado отвечает только из данных вашей компании: цены, адреса, часы работы, услуги, условия доставки. На вопрос, которого нет в данных, говорит, что перезвонит менеджер, и создаёт задачу. В клинике не ставит диагнозов и не называет лекарств.
Запись и текст каждого звонка хранятся в кабинете: проверить, что сказал оператор, можно в любой момент. Подробнее: ИИ-оператор для входящих звонков и частые вопросы. Попробуйте вживую: спросите то, чего нет в данных.
Вопросы
Можно ли полностью избавиться от галлюцинаций?
Свести риск к нулю нельзя, но сильно снизить можно: только письменные данные, правило «не знаю» и проверка текстов. Поэтому важно, чтобы запись и текст каждого звонка сохранялись.
Что делать, если цены часто меняются?
В день изменения цены обновите и данные оператора, а старую цену уберите. Если останутся обе, оператор может ошибиться.
Как понять, что оператор что-то выдумал?
Сверьте цифры, даты и обещания из текста звонка со своими данными. Если прозвучало то, чего в данных нет, впишите точный ответ на этот вопрос или добавьте его в список того, что нельзя обещать.
В звонках на узбекском так же?
Да, эти правила не зависят от языка. Sado говорит на узбекском и русском и на обоих языках отвечает только из данных компании: ИИ-оператор на узбекском.