Классическая аналитика чат-бот
Внимание!
В этой статье описываются метрики и данные, доступные для классической аналитики чат-бот. По умолчанию Copilot Studio использует аналитику для современных агентов. Классическая аналитика чат-бот доступна по запросу. Оставьте заявку, обратившись в службу технической поддержки.
Вкладка Сводка страницы Аналитика дает вам широкий обзор производительности вашего агента. Он использует технологию искусственного интеллекта (ИИ), чтобы показать, какие темы оказывают наибольшее влияние на частоту эскалации, коэффициент отказов и коэффициент разрешения.
Сеансы аналитики отслеживают взаимодействие пользователей с вашим агент и пытаются зафиксировать, насколько хорошо ваш агент справляется с пользовательскими задачами. Один разговор может содержать один или несколько сеансов аналитики. Каждый сеанс связан с определенной темой. Последняя запущенная несистемная тема или первая запущенная системная тема, если не были запущены несистемные темы, связана с сеансом аналитики.
Сводные диаграммы показывают, насколько хорошо работает ваш агент, и помогают найти темы, которые больше всего влияют на эффективность работы вашего агента. Время сеанса истекает через 30 минут бездействия.
Сеанс начинается, когда пользователь взаимодействует с вашим агентом или когда агент отправляет пользователю упреждающее сообщение. Сеанс начинается в состоянии без взаимодействия.
Сеанс становится задействованным, когда происходит одно из следующих событий:
- Инициирована несистемная тема
- Сеанс эскалирован
- Инициирована резервная тема
- Инициирована тема улучшения разговорной речи
Как только сеанс становится задействованным, он остается таким. Сеансы взаимодействия могут иметь следующие результаты: разрешен, эскалирован или отменен.
Сеанс завершается и считается эскалированным, когда запускается тема Эскалация или выполняется узел Передать агенту. (Текущий сеанс аналитики завершается независимо от того, передается ли разговор агенту или нет.)
Сеанс завершается и считается разрешенным в следующих случаях:
- Запускается тема Конец разговора, и пользователь подтверждает, что взаимодействие было успешным, или дожидается истечения времени сеанса.
- Запускается тема подтвержденный успех.
Сеанс завершается и считается прерванным по истечении времени сеанса взаимодействия, когда он не достиг состояния разрешения или эскалации.
Вкладка сводки содержит различные диаграммы с графическим представлением ключевых показателей эффективности вашего агента. В оставшейся части этой статьи каждая диаграмма описывается более подробно.
Совет
- По умолчанию на странице отображаются ключевые показатели эффективности за последние семь дней. Чтобы изменить период времени, используйте элементы управления для даты в верхней части страницы.
- Расшифровки разговоров для классической аналитики чат-ботов в Dataverse доступны примерно через шесть часов после начала сеанса аналитики.
Сводные диаграммы
Сводные диаграммы показывают сводные ключевые показатели эффективности за указанный период времени и изменение в процентах за период.
| Описание | Сведения |
|---|---|
| Всего сеансов | Общее количество сеансов в течение указанного периода времени. |
| Степень вовлеченности | Процент от общего количества сеансов, которые становятся сеансами взаимодействия. |
| Коэффициент разрешения | Процент сеансов с взаимодействием, которые были разрешены. |
| Доля эскалации | Процент сеансов с взаимодействием, которые были эскалированы. |
| Коэффициент прерывания | Процент сеансов с взаимодействием, которые были прерваны. |
| CSAT | Графическое представление средней оценки удовлетворенности клиентов (CSAT) для сеансов, в которых клиенты отвечают на запрос завершения сеанса для участия в опросе. |
Диаграмма использования за период времени
Диаграмма Взаимодействия с течением времени предоставляет графическое представление количества сеансов с взаимодействием и без взаимодействия за промежуток времени.
| Описание: | Details |
|---|---|
| С взаимодействием | Ежедневное количество сеансов с взаимодействием. |
| Без взаимодействия | Ежедневное число сеансов без взаимодействия. |
Диаграмма итогов сеансов за период времени
Диаграмма Результаты сеанса за период времени предоставляет графическое представление ежедневного коэффициента разрешения, коэффициента эскалации и коэффициента прерываний за указанный период времени.
| Описание: | Details |
|---|---|
| Разрешен | Ежедневная доля разрешенных сеансов. |
| Эскалировано | Ежедневная доля эскалированных сеансов. |
| Прервано | Ежедневная доля сеансов с отказом. |
Диаграмма факторов, влияющих на частоту разрешения
На диаграмме Драйверы коэффициента разрешения отображаются темы в порядке их влияния на коэффициент разрешения за указанный период времени.
| Описание | Сведения |
|---|---|
| Раздел | Тема Copilot Studio. |
| Ставка | Процент сеансов с взаимодействием для темы, которая была разрешена. |
| Воздействие | Оценка влияния доли разрешения темы. Коэффициент воздействия на долю разрешения — это общий коэффициент разрешения вместе в этой темой, минус общий коэффициент разрешения без этой темы. |
Влияние отображается на диаграмме в виде процента. Темы с положительным процентом влияния — это темы с более высоким, чем в среднем, уровнем разрешения — они увеличили общий уровень разрешения проблем вашего агента.
Увеличьте скорость разрешения тем с высоким процентом негативного воздействия, чтобы быстрее повысить общий коэффициент разрешения для вашего агента.
Чтобы увидеть дополнительную информацию о каждой теме, выберите ссылку Сведения для отображения страницы сведений темы. Дополнительные сведения см. в разделе Анализ использования тем.
Диаграмма факторов, влияющих на частоту эскалации
На диаграмме Драйверы коэффициента эскалации, отображаются темы в порядке их влияния на коэффициент эскалации за указанный период времени.
| Описание | Сведения |
|---|---|
| Раздел | Тема Copilot Studio. |
| Ставка | Процент сеансов с взаимодействием для темы, которая была эскалирована. |
| Воздействие | Оценка влияния доли эскалирования темы. Коэффициент воздействия на долю эскалации — это общий коэффициент эскалации вместе в этой темой, минус общий коэффициент эскалации без этой темы. |
Влияние отображается на диаграмме в виде процента. Темы с положительным процентом влияния — это темы с частотой эскалации выше среднего — они увеличили общую скорость эскалации вашего агента.
Уменьшите частоту эскалации тем с высоким процентом влияния, чтобы быстрее снизить скорость эскалации для вашего агента.
Чтобы увидеть дополнительную информацию о каждой теме, выберите ссылку Сведения для отображения страницы сведений темы. Дополнительные сведения см. в разделе Анализ использования тем.
Диаграмма факторов, влияющих на частоту отказов
На диаграмме Драйверы коэффициента прерывания отображаются темы в порядке их влияния на коэффициент прерываний за указанный период времени.
| Описание | Сведения |
|---|---|
| Раздел | Тема Copilot Studio. |
| Ставка | Процент сеансов с взаимодействием для темы, для которой были прерывания. |
| Воздействие | Оценка влияния доли отказов для темы. Коэффициент воздействия на долю отказов — это общий коэффициент отказов вместе в этой темой, минус общий коэффициент отказов без этой темы. |
Влияние отображается на диаграмме в виде процента. Темы с положительным процентом влияния — это темы с более высоким, чем в среднем, коэффициентом отказа — они увеличили общий процент отказов вашего агента.
Уменьшите процент отказов от тем с высоким процентом воздействия, чтобы быстрее снизить процент отказов для вашего агента.
Чтобы увидеть дополнительную информацию о каждой теме, выберите ссылку Сведения для отображения страницы сведений темы. Дополнительные сведения см. в разделе Анализ использования тем.
Анализ метрик удовлетворенности клиентов агентом
На вкладке Удовлетворенность клиентов на странице Аналитика представлено подробное представление данных опроса об удовлетворенности клиентов (CSAT), включая средний балл CSAT, основные темы запросов пользователей и полезную информацию о факторах, влияющих на удовлетворенность или неудовлетворенность ответами агента.
По умолчанию на странице отображаются ключевые показатели эффективности за последние семь дней. Чтобы изменить период времени, используйте средства выбора даты вверху страницы. Вы можете получить данные за любой период в течение последних 45 дней.
Оценка удовлетворенности клиентов
График Оценка удовлетворенности клиентов предоставляет графическое представление средней оценки CSAT для сеансов, в которых клиенты отвечают на запрос завершения сеанса для участия в опросе. В опросе CSAT клиентам предлагается оценить свой опыт по шкале от 1 до 5. Если клиент отвечает на несколько опросов в одном сеансе, используется только самый последний.
На этом графике также представлен индикатор изменения период за периодом. Например, при выборе трехдневного периода индикатор показывает процентное изменение по сравнению с тремя днями, предшествующими выбранному периоду. Индикатор периодов отображается только в том случае, если у вашего агента есть данные опроса CSAT за предыдущий период. Если нет доступных данных опроса CSAT за тот же конечный период времени относительно того, что выбрано в фильтре, то индикатор периода за периодом не отображаются.
Частота ответов на опрос CSAT
Диаграмма Частота ответов на опросы CSAT показывает количество представленных опросов CSAT в конце сеанса и процент завершенных опросов.
Детализация удовлетворенности клиентов
Диаграмма Структура удовлетворенности клиентов показывает процент сеансов, в которых клиенты были удовлетворены, неудовлетворены или нейтральны за выбранный период времени. Панель состояния удовлетворенности клиентов предоставляет более подробную информацию о различных сигналах, используемых для определения состояния удовлетворенности сеансом.
Состояние удовлетворенности клиентов
Диаграмма Статус удовлетворенности клиентов предоставляет ключевую информацию о темах, которые ищут пользователи, а также об уровне удовлетворенности пользователей ответами агента. Сеансы со схожими темами группируются вместе. На диаграмме показано количество сеансов по каждой теме за выбранный период, а также процент этих сеансов, в которых пользователи были удовлетворены или неудовлетворены. Сессии, в которых пользователи не были ни удовлетворены, ни неудовлетворены, считаются нейтральными и не отображаются на этой диаграмме.
Тема данного сеанса определяется с использованием моделей машинного обучения. Перед отправкой на панель аналитики темы обрабатываются для удаления любых персональных данных или конфиденциальной информации, такой как номера телефонов. Кроме того, если темы содержат ненормативную лексику или оскорбительные выражения, эти темы маскируются.
Чтобы увидеть конкретные причины удовлетворения или неудовлетворенности, наведите указатель мыши на каждый сегмент диаграммы. Если какой-либо из критериев верен для данного сеанса, то сеанс классифицируется как удовлетворенный или неудовлетворенный:
Сессия считается неудовлетворенный, если:
- Пользователь поставил две звезды или меньше в опросе в конце разговора.
- Пользователю было предложено перефразировать свой запрос дважды или более двух раз в (резервная системная тема).
- Пользователь покинул сеанс.
- Пользователь эскалировал сеанс агенту-человеку.
- Общее настроение пользователя по поводу разговора с агентом классифицируется как негативное. Настроения определяются с использованием общедоступной модели машинного обучения, настроенной для анализа тональностей.
Сессия считается удовлетворенный, если:
- Пользователь поставил четыре звезды или более в опросе в конце разговора.
- Пользователю не было предложено перефразировать свой запрос более одного раза в (резервная системная тема).
- Сеанс был разрешен.
- Общее мнение пользователя о разговоре с агентом оценивается как позитивное.
Сеансы, не соответствующие ни одному из вышеперечисленных критериев, считаются нейтральными и не отображаются на этом графике.
На вкладке Сводка страницы Аналитика вы можете использовать значки информации, чтобы узнать больше о взаимодействии и коэффициентах эскалации, отказов и разрешения.
Извлечение тональностей по темам и сеансам
Copilot Studio использует методы обработки естественного языка (NLP) для извлечения тем и назначения тональностей для данного сеанса агента.
Для каждого сеанса Copilot Studio извлекает темы из первого высказывания пользователя. Отдельные сеансы со схожими темами объединяются и отображаются как один элемент на диаграмме Состояние удовлетворенности клиентов.
Для оценки тональности сеанса базовая модель NLP обучается на общедоступных наборах данных английского языка. Этот процесс анализирует текст сеанса, чтобы определить, является ли общая тональность позитивной, негативной или нейтральной. Этот процесс также предварительно обрабатывает запросы пользователей, чтобы исключить ложные срабатывания. Например, такая предварительная обработка гарантирует, что такой запрос, как «какой вариант лучший?» не классифицируется как положительный только потому, что в запросе встречается слово «лучший».