Как протестировать два варианта скрипта звонка: A/B-тест по шагам
Команда Sado AI · · 4 мин чтения
Коротко
Для A/B-теста скрипта меняйте только одну вещь — например, первую фразу или подачу предложения. Разделите список случайно на две равные части, звоните обеим в одни и те же дни и часы и сравнивайте одну заранее выбранную цифру: например, какая доля дозвонившихся сделала заказ. Не делайте выводов, пока в каждом варианте нет примерно 100 разговоров. Кроме цифр, слушайте записи: так слышно, где клиент останавливается. Победивший вариант сделайте основным и тестируйте следующее изменение.
Что такое A/B-тест и зачем тестировать скрипт
A/B-тест — это когда два варианта скрипта работают одновременно, и по цифрам видно, какой лучше. Менеджеры часто спорят: «по-моему, эта фраза лучше». Тест заканчивает спор: те же клиенты, то же время, одно отличие. Иногда разницу даёт мелочь: например, в первой фразе напомнить клиенту о его заявке, а не называть компанию.
Что можно тестировать в скрипте
- Первую фразу: «Звоню из Charm Poyabzal» или «Вчера вы спрашивали на сайте про ботинки».
- Первый вопрос: открытый («Какую модель ищете?») или выбор («Себе или в подарок?»).
- Предложение: назвать скидку в начале или после того, как клиент выбрал модель.
- Следующий шаг: «приходите в магазин» или «привезём курьером».
- Время звонка: днём или вечером. Это не скрипт, но тестируется так же.
В одном тесте меняйте только одну вещь. Если изменить две сразу, вы не узнаете, какая из них сработала.
A/B-тест по шагам
- Выберите целевую цифру, только одну: например, долю заказов среди тех, с кем поговорили. Длительность звонка или впечатление «клиенту понравилось» — не цель.
- Напишите два варианта. A — текущий скрипт, B — с одним изменением. Всё остальное одинаково.
- Разделите список случайно: например, чётные и нечётные строки в Excel. Не делите по алфавиту или району, иначе группы получатся из разных людей.
- Звоните обеим половинам в одни и те же дни и часы, одним и тем же голосом.
- Наберите около 100 состоявшихся разговоров на вариант. На малом числе разговоров разница может быть случайной.
- Посчитайте и послушайте по 10–15 записей каждого варианта: цифра покажет, что произошло, а записи — почему.
Пример: две разные первые фразы
Например, обувной магазин звонит тем, кто оставил заявку на сайте. Список разделён на чётные и нечётные строки.
| Показатель | A: с названием компании | B: с заявкой клиента |
|---|---|---|
| Первая фраза | «Звоню из Charm Poyabzal, пришла новая коллекция» | «Вчера вы спрашивали на сайте зимние ботинки, звоню по этому поводу» |
| Поговорили | 120 | 118 |
| Сделали заказ | 14 | 23 |
| Доля | 14 ÷ 120 ≈ 12% | 23 ÷ 118 ≈ 19% |
Цифры здесь только пример. При такой разнице B становится основным скриптом, и начинается следующий тест: например, когда называть скидку.
Как звучит вариант B
Sado: Здравствуйте, Дильшод? Это Шохрух из Charm Poyabzal. Вчера вы спрашивали на сайте зимние ботинки, звоню по этому поводу.
Клиент: Да, спрашивал. Сорок третий размер есть?
Sado: Есть, чёрные и коричневые. Какие вам больше нравятся?
Клиент: Чёрные. Сколько стоят?
Sado: Чёрные — 680 тысяч сум. Привезти завтра курьером или зайдёте в магазин?
Клиент: Привезите, вечером я дома.
Sado: Хорошо, записал на завтра на вечер. Курьер позвонит перед выездом.
Тест через автообзвон
С живыми операторами тест быстро ломается: один читает скрипт дословно, другой говорит по-своему, и настроение у всех разное. ИИ-оператор в каждом звонке работает по одной и той же инструкции, поэтому разница больше зависит от скрипта. С автообзвоном Sado вы делите список на два файла Excel и создаёте в разделе «Автообзвон» два обзвона: дни и часы одинаковые, отличается только текст «что сказать». В списке должны быть только те, кому можно звонить: оставившие заявку или ваши клиенты.
Запись, текст и собранные ответы каждого звонка видны в кабинете, результаты можно выгрузить в Excel и сравнить. Оплачиваются только минуты разговора: цены. Попробуйте вживую или позвоните 78 778 01 23.
Вопросы
Сколько звонков нужно для A/B-теста?
Точного правила нет, но лучше иметь около 100 состоявшихся разговоров на каждый вариант. Если разница маленькая, нужно больше. Вывод на малом числе разговоров может оказаться случайностью.
Можно тестировать три варианта сразу?
Можно, но каждому нужно достаточно разговоров, и тест затянется. Если список небольшой, начните с двух вариантов.
От чего считать долю?
От числа состоявшихся разговоров, а не от числа набранных номеров. Кто не взял трубку, скрипт не слышал и на тест влиять не должен.