Как оценить тест ИИ-Квалификатора в стоматологии
Агент отвечает уверенно. Но стало ли администратору проще доводить обращение до следующего шага? Это проверяют по диалогам, карточкам и действиям сотрудника.
Дмитрий Сиирин, основатель ALIOT · 7 сентября 2026
Сначала договоритесь, что именно проверяете
После демо легко сказать: «Давайте попробуем». Сложнее заранее определить, какой факт убедит управляющего продолжить работу. Если этого не сделать, в конце теста один человек будет оценивать скорость ответа, второй - стиль переписки, третий - число записей.
Выберите один канал, один сценарий и одного получателя обращения. Например: вечерние обращения об имплантации в чате сайта, уточнение запроса и передача карточки администратору утренней смены. Это пример границ теста, а не описание результата конкретной клиники.
В такой проверке ИИ-Квалификатор отвечает на первый вопрос, собирает необходимый контекст и передает его человеку. Запись в расписание, визит и оплата остаются отдельными этапами. Автозапись и интеграцию с МИС включают в объем только после отдельной проверки возможностей и доступов.
Опишите маршрут до запуска
- Какие обращения входят в тест: канал, направление, часы работы, новые или повторные пациенты.
- Какие обращения исключаете и почему: спам, внутренние проверки, запросы вне выбранного направления.
- Какие сведения нужны администратору, где появляется карточка и кто принимает ее в работу.
- Когда сотрудник должен выполнить следующее действие и кто заменяет его в выходной.
- Как вернуть обращение человеку, если агент не справился.
Зафиксируйте исходное состояние
Возьмите сопоставимый период до запуска: тот же канал, направление, часы и тип обращений. Сохраните не только итоговые доли, но и исходные количества, переписки и статусы. Отметьте изменения рекламы, цен, расписания и состава смены: они могут повлиять на результат независимо от агента.
Если прежних данных нет, сначала начните их собирать. Проверить работоспособность маршрута можно и без сравнения, но утверждать, что показатели улучшились, пока не с чем.
Для первичной диагностики подойдет отдельный материал: как найти первый разрыв в обработке обращений. Здесь задача другая: согласовать критерии решения по тесту.
Четыре результата, которые нельзя смешивать
Быстрый ответ еще не означает полезную карточку. Доставленная карточка еще не означает, что сотрудник принял обращение.
| Что проверяем | Откуда берем факт | Кто подтверждает |
|---|---|---|
| Первый содержательный ответ | Время сообщения пациента и ответа по его вопросу в журнале переписки. Автоприветствие учитываем отдельно. | Ответственный за внедрение сверяет журнал; управляющий принимает правило измерения. |
| Пригодность контекста | Исходный диалог и карточка: направление, запрос словами пациента, контакт, удобное время связи, договоренность. Отдельно - пропуски и выдуманные сведения. | Администратор, которому предстоит продолжить разговор. |
| Прием обращения сотрудником | Карточка в согласованном месте, назначенный сотрудник и отметка времени принятия в работу. | Получатель обращения или старший администратор. |
| Следующий шаг | Фактическое действие: звонок, ответ, согласование времени или зафиксированный отказ. Для записи - отдельное подтверждение в расписании. | Администратор подтверждает действие, управляющий разбирает незавершенные обращения. |
На телефоне таблицу можно прокрутить вправо. Роли в таблице - предлагаемый порядок работы; до старта их нужно закрепить за конкретными людьми.
Считайте долю вместе с ее основанием
Для каждого показателя запишите числитель и знаменатель. Например: карточки, пригодные для продолжения разговора / все карточки, переданные по маршруту теста. Рядом укажите количество: результат «8 из 10» читается иначе, чем «80 из 100», хотя процент одинаковый. Это условный пример, не норматив качества.
Покажите и всю цепочку: сколько подходящих обращений поступило, сколько получило ответ, сколько дошло до карточки, сколько принято сотрудником и сколько получило следующее действие. Иначе хороший показатель на последнем этапе может скрыть потери раньше.
Повторные сообщения одного пациента по одному запросу не должны искусственно увеличивать число обращений. Технические сбои и случаи, где агент не ответил, нельзя убирать из оценки его работы. Правила объединения повторов и исключений согласуйте заранее.
Пусть получатель проверит карточку
Заполненные поля сами по себе не доказывают пользу. Спросите администратора: «Ты понимаешь, зачем человек обратился и что делать дальше? Пришлось ли заново спрашивать уже известное? Есть ли в карточке то, чего пациент не говорил?»
Неизвестное должно оставаться неизвестным. Если пациент не назвал удобное время, агент не должен придумывать его ради заполненности. Состав карточки обращения можно использовать как основу и сократить под выбранный маршрут.
Отделите настройку от наблюдения
Время на сбор материалов, настройку ответов и подключение передачи - это подготовка. Окно наблюдения начинается, когда согласованная версия работает на реальных обращениях и их можно проследить до получателя.
Проверочные диалоги до старта помогают найти ошибки: непонятный вопрос, повторное сообщение, просьбу позвать человека, отсутствие контакта, недоступность получателя. Их отмечают как технические проверки и не смешивают с обращениями пациентов.
Семь дней сами по себе ничего не доказывают
За неделю в одном канале может накопиться достаточно материала для разбора повторяющегося сбоя, а в другом придет всего несколько обращений. Календарный срок не заменяет объем и разнообразие наблюдений.
До старта согласуйте дату первого разбора, ожидаемые типы обращений и предельный срок наблюдения. Если объем мал, зафиксируйте, что удалось проверить технически, а что осталось неизвестным. Продление должно отвечать на конкретный вопрос, а не просто откладывать решение.
Если во время теста меняете вопросы агента, состав карточки или маршрут передачи, отметьте время изменения. Оценивайте версии отдельно: единая средняя цифра скроет и причину сбоя, и эффект исправления.
Несколько проверок могут подтвердить доставку карточки. Для оценки устойчивого качества нужны реальные разные обращения. Для вывода о записях и деньгах - данные следующих этапов и сопоставимое исходное состояние.
Как принять решение по итогам теста
Выберите один основной результат до запуска. Например: администратор получает пригодное обращение и принимает его в согласованное время. Остальные показатели помогают понять, почему результат получен или где произошел сбой.
Порог приемки согласуйте с клиникой заранее: что считается пригодной карточкой, какое время допустимо и какие ошибки требуют немедленной остановки. Универсальный процент для всех стоматологий здесь только мешает.
Продолжить
Согласованный результат подтвержден на достаточном для него материале. Получатель использует карточки, критических нарушений нет. Понятны стоимость рабочего запуска, ответственность и следующий объем.
Исправить
Найден конкретный повторяющийся сбой: лишние вопросы, пропуск контекста, задержка передачи. У исправления есть владелец, срок и повторная проверка именно этого места.
Остановить
Нарушаются согласованные безопасные границы, карточки теряются, нет получателя или выбранный маршрут не решает задачу клиники. Продолжение не становится обязательным только потому, что на настройку уже потратили время.
Не откладывайте критические ошибки до итоговой встречи
Для стоматологии заранее задайте границы: агент не ставит диагноз, не назначает лечение, не обещает клинический результат и не подтверждает запись без основания в системе. Просьба о человеке должна иметь работающий маршрут. Медицинские формулировки и правила срочной передачи согласует клиника.
При критическом нарушении остановите затронутый сценарий и передайте обработку сотруднику. Возобновление - после исправления и проверки. Не публикуйте реальные переписки пациентов в отчете для внешней аудитории; для внутреннего разбора используйте согласованный доступ и минимально необходимые сведения.
А если хочется сразу посчитать окупаемость?
Свяжите обращения с подтвержденными записями, визитами и оплатами. Учитывайте расходы на запуск, эксплуатацию и работу сотрудников. Само увеличение числа карточек не доказывает дополнительную выручку.
Если этих данных пока нет, итог теста может быть полезным и конкретным: передача работает, контекст пригоден, следующий шаг выполняется. Финансовый эффект в таком случае еще предстоит проверить.
Паспорт теста: что записать до старта
Этот список можно перенести в рабочую задачу и заполнить вместе с управляющим и получателем обращений.
- Маршрут: канал, направление, часы, получатель и место передачи.
- Основной результат: что должно измениться и какой факт это подтверждает.
- Исходное состояние: период, количество обращений, текущие результаты и известные пробелы.
- Критерии: первый ответ, пригодность карточки, прием сотрудником, следующий шаг. Для каждого - источник, правило подсчета и порог приемки.
- Наблюдение: начало после настройки, первый разбор, необходимый состав материала, предельная дата и условие продления.
- Безопасные границы: что агент не делает, когда зовет человека и как остановить сценарий.
- Ответственные: кто исправляет агента, кто принимает обращения, кто подтверждает итог.
- Решение: продолжить, исправить или остановить; дата и условия платного продолжения.
Как может звучать итог
Шаблон, не результат клиники: «За период [даты] по маршруту [канал и направление] рассмотрено [количество] реальных обращений. Основной критерий [выполнен / не выполнен / данных недостаточно]. Подтверждение: [журнал и оценка получателя]. Решение: [действие]. Ответственный: [имя]. Следующая проверка: [дата и вопрос]».
У хорошего теста есть не только начало. Есть человек, который примет результат, и понятное условие завершения. Тогда ИИ-Квалификатор можно оценить по его месту в работе клиники.
Обсудим критерии теста на одном маршруте
Выберем канал и сценарий, определим полезную карточку для администратора и факты, по которым принимать решение. На странице продукта можно посмотреть механику и оставить запрос на разбор.
Обсудить критерии теста