Análise clássica do chatbot
Importante
Este artigo descreve as métricas e os dados disponíveis para a experiência de análise do chatbot clássico. Por padrão, o Copilot Studio usa análises para agentes modernos. A análise do chatbot clássico está disponível mediante solicitação. Envie uma solicitação entrando em contato com o suporte técnico.
A guia Resumo da página Análise oferece uma ampla visão geral sobre o desempenho do agente. Ela usa tecnologia de inteligência artificial (IA) para mostrar os tópicos que têm o maior impacto nas taxas de escalonamento, abandono e resolução.
As sessões de análise rastreiam o envolvimento do usuário com seu agente e tentam capturar como seu agente lida com as tarefas do usuário. Uma única conversa pode conter uma ou mais sessões de análise. Cada sessão é associada a um tópico específico. O último tópico que não é do sistema disparado – ou o primeiro tópico do sistema disparado, se nenhum tópico que não seja do sistema tiver sido disparado – está associado à sessão de análise.
Os gráficos de resumo medem o desempenho do agente e ajudam você a encontrar os tópicos que mais afetam o desempenho do agente. Uma sessão expirará após 30 minutos de inatividade.
Uma sessão é iniciada quando um usuário interage com seu agente ou o agente envia uma mensagem proativa para o usuário. A sessão começa em um estado não engajada.
Uma sessão fica engajada quando ocorre uma das seguintes situações:
- um tópico que não é do sistema é acionado
- a sessão é escalonada
- o tópico de fallback é acionado
- o tópico de impulsionamento de conversa é acionado
Depois que a sessão se torna engajada, ela permanece engajada. Uma sessão engajada pode ter um dos seguintes resultados: resolvidos, escalonados ou abandonados.
Uma sessão termina e é considerada escalada quando o tópico Escalar é disparado ou um nó Transferir para agente é executado. (A sessão de análise atual termina, independentemente de a conversa ser transferida para um agente humano ou não).
Uma sessão termina e é considerada resolvida quando:
- O tópico Fim da Conversa é disparado e o usuário confirma que a interação foi bem-sucedida ou permite que a sessão atinja o tempo limite.
- O tópico Êxito Confirmado é disparado.
Uma sessão termina e é considerada abandonada quando uma sessão engajada atinge o tempo limite e não atingiu um estado resolvido ou escalado.
A guia Resumo inclui vários gráficos que mostram os indicadores chave de desempenho do agente. O restante deste artigo descreve cada gráfico com mais detalhes.
Dica
- Por padrão, a página mostra os indicadores chave de desempenho dos últimos sete dias. Para alterar o período de tempo, use os controles de data na parte superior da página.
- As transcrições de conversas para análises clássicas de chatbot no Dataverse estão disponíveis aproximadamente seis horas após o início da sessão analítica.
Gráficos de resumo
Os gráficos de resumo resumem os indicadores chave de desempenho para o período especificado e o percentual de alteração durante o período.
| Descrição | Detalhes |
|---|---|
| Total de sessões | O número total de sessões dentro do período especificado. |
| Taxa de participação | A porcentagem do total de sessões que se tornaram engajadas. |
| Taxa de resolução | A porcentagem de sessões engajadas que foram resolvidas. |
| Taxa de escalonamento | A porcentagem de sessões engajadas que foram escaladas. |
| Taxa de abandono | A porcentagem de sessões engajadas que foram abandonadas. |
| CSAT | A exibição gráfica das pontuações médias de CSAT para sessões nas quais os clientes respondam a uma solicitação de final de sessão para participar da pesquisa. |
Gráfico Participação ao longo do tempo
O gráfico Participação ao longo do tempo fornece uma exibição gráfica do número de sessões engajadas e não engajadas ao longo do tempo.
| Description | Details |
|---|---|
| Engajada | O número diário de sessões engajadas. |
| Não engajadas | O número diário de sessões não engajadas. |
Gráfico Resultados da sessão ao longo do tempo
O gráfico Resultados da sessão ao longo do tempo fornece uma exibição gráfica da taxa de resolução diária, taxa de escalonamento e taxa de abandono durante o período especificado.
| Description | Details |
|---|---|
| Resolvidas | A taxa diária de sessões resolvidas. |
| Escalonado | A taxa diária de sessões escalonadas. |
| Abandonada | A taxa diária de sessões abandonadas. |
Gráfico Impulsionadores de taxa de resolução
O gráfico Impulsionadores de taxa de resolução exibe os tópicos na ordem do impacto na taxa de resolução durante o período especificado.
| Descrição | Detalhes |
|---|---|
| Tópico | Um tópico do Copilot Studio. |
| Taxa | A porcentagem de sessões engajadas para o tópico que foram resolvidas. |
| Impacto | A pontuação de impacto na taxa de resolução do tópico. A pontuação do impacto na taxa de resolução é a taxa geral de resolução, incluindo o tópico menos a taxa de resolução geral, excluindo o tópico. |
O gráfico exibe o impacto como uma porcentagem. Os tópicos com uma porcentagem de impacto positivo são tópicos com uma taxa de resolução maior do que a média — eles aumentaram a taxa de resolução geral do seu agente.
Aumente a taxa de resolução de tópicos com altas porcentagens de impacto negativo para melhorar mais rapidamente a taxa de resolução geral para seu agente.
Para ver informações adicionais sobre cada tópico, selecione o link Detalhe para exibir a página de detalhes do tópico. Para obter mais informações, consulte Analisar o uso de tópicos.
Gráfico Impulsionadores de taxa de escalonamento
O gráfico Impulsionadores da taxa de escalonamento exibe os tópicos na ordem do impacto na taxa de escalonamento durante o período especificado.
| Descrição | Detalhes |
|---|---|
| Tópico | Um tópico do Copilot Studio. |
| Taxa | A porcentagem de sessões engajadas para o tópico que foram escalonadas. |
| Impacto | A pontuação de impacto na taxa de escalonamento do tópico. A pontuação do impacto na taxa de escalonamento é a taxa geral de escalonamento, incluindo o tópico menos a taxa de escalonamento geral, excluindo o tópico. |
O gráfico exibe o impacto como uma porcentagem. Os tópicos com uma porcentagem de impacto positivo são tópicos com uma taxa de escalonamento maior do que a média — eles aumentaram a taxa geral de escalonamento do seu agente.
Diminua a taxa de escalonamento de tópicos com altas porcentagens de impacto para diminuir mais rapidamente a taxa de escalonamento para seu agente.
Para ver informações adicionais sobre cada tópico, selecione o link Detalhe para exibir a página de detalhes do tópico. Para obter mais informações, consulte Analisar o uso de tópicos.
Gráfico Impulsionadores de taxa de abandono
O gráfico Impulsionadores da taxa de abandono exibe os tópicos na ordem do impacto na taxa de abandono durante o período especificado.
| Descrição | Detalhes |
|---|---|
| Tópico | Um tópico do Copilot Studio. |
| Taxa | A porcentagem de sessões engajadas para o tópico que foram abandonadas. |
| Impacto | A pontuação de impacto na taxa de abandono do tópico. A pontuação do impacto na taxa de abandono é a taxa geral de abandono, incluindo o tópico menos a taxa de abandono geral, excluindo o tópico. |
O gráfico exibe o impacto como uma porcentagem. Tópicos com uma porcentagem de impacto positivo são tópicos com uma taxa de abandono maior do que a média – eles aumentaram a taxa geral de abandono do seu agente.
Diminua a taxa de abandono de tópicos com altas porcentagens de impacto para diminuir mais rapidamente a taxa de abandono do seu agente.
Para ver informações adicionais sobre cada tópico, selecione o link Detalhe para exibir a página de detalhes do tópico. Para obter mais informações, consulte Analisar o uso de tópicos.
Analisar as métricas de satisfação do cliente de seu agente
A guia Satisfação do Cliente da página Análise fornece uma visão detalhada dos dados da pesquisa de satisfação do cliente (CSAT), incluindo a pontuação média do CSAT, os principais temas de consulta do usuário e insights acionáveis sobre os fatores de satisfação ou insatisfação com as respostas do agente.
Por padrão, a página mostra os indicadores chave de desempenho dos últimos sete dias. Para alterar o período, use os seletores de data na parte superior da página. Você pode recuperar os dados de qualquer período nos últimos 45 dias.
Pontuação de Satisfação do Cliente
O gráfico Pontuação de Satisfação do Cliente apresenta uma exibição gráfica das pontuações CSAT para sessões nas quais os clientes respondem a uma solicitação término da conversa para participar da pesquisa. A pesquisa CSAT pede aos clientes que avaliem a experiência em uma escala de um a cinco. Se um cliente responder a mais de uma pesquisa na mesma sessão, somente a mais recente será usada.
Este gráfico apresenta um indicador de alteração de período para período. Por exemplo, quando você seleciona um período de três dias, o indicador mostra a porcentagem de alteração relativa aos três dias anteriores ao período selecionado. O indicador de período sobre período só aparece se o agente tiver dados de pesquisa CSAT disponíveis para o período anterior. Se não houver dados de pesquisa CSAT disponíveis para o mesmo período em relação ao selecionado no filtro, o indicador de período para período não será mostrado.
Taxa de resposta da pesquisa CSAT
O gráfico Taxa de resposta da pesquisa CSAT mostra o número de pesquisas CSAT ao final da conversa que foram apresentadas e a porcentagem de pesquisas concluídas.
Detalhamento de satisfação do cliente
O gráfico Detalhamento de satisfação do cliente mostra a porcentagem de sessões de satisfação, insatisfação ou neutralidade no período selecionado. O painel Status de satisfação do cliente dá mais detalhes sobre os sinais variados usados para determinar o status de satisfação da sessão.
Status de satisfação do cliente
O gráfico Status de satisfação do cliente fornece insights importantes sobre os temas que os usuários pesquisam e o nível de satisfação dos usuários sobre as respostas do agente. As sessões com temas semelhantes são agrupadas. O gráfico mostra o número de sessões de cada tema durante o período selecionado e a porcentagem dessas sessões de satisfação ou insatisfação. As sessões sem satisfação nem insatisfação são consideradas sessões de neutralidade e não são exibidas neste gráfico.
O tema de uma determinada sessão é derivado usando-se modelos ML. Para serem enviados ao painel de análise, os temas são processados para remover quaisquer dados pessoais ou informações confidenciais, como números de telefone. Além disso, se contiverem linguagem obscena ou perigosa, os temas serão mascarados.
Para ver os fatores específicos de satisfação ou insatisfação, passe o mouse sobre cada segmento do gráfico. Se qualquer um dos critérios for verdadeiro para uma determinada sessão, a sessão será classificada como sendo de satisfação ou insatisfação:
Uma sessão será considerada de insatisfação se:
- O usuário tiver dado duas estrelas ou menos ao final da pesquisa da conversa.
- O usuário precisou reformular a consulta duas ou mais de duas vezes no (tópico de fallback do sistema).
- O usuário abandonou a sessão.
- O usuário escalonou a sessão para um agente humano.
- O sentimento geral do usuário sobre sua conversa com o agente é classificado como negativo. O sentimento é determinado usando-se um modelo ML disponível publicamente ajustado para análise de sentimento.
Uma sessão será considerada de satisfação se:
- O usuário tiver dado quatro estrelas ou mais ao final da pesquisa da conversa.
- O usuário não precisou reformular a consulta mais de duas vezes no (tópico de fallback do sistema).
- A sessão foi resolvida.
- O sentimento geral do usuário sobre sua conversa com o agente é classificado como positivo.
As sessões que não atenderem a nenhum dos critérios acima serão consideradas sessões de neutralidade e não serão exibidas no gráfico.
Na guia Resumo da página Análise, você pode usar os ícones Informações para saber mais sobre taxas de participação, escalonamento, abandono e resolução.
Extração de sentimento do tema e da sessão
O Copilot Studio usa técnicas de processamento de linguagem natural (NLP) para extrair temas e atribuir sentimentos a uma determinada sessão do agente.
Para cada sessão, o Copilot Studio extrai temas do primeiro enunciado do usuário. As sessões individuais com temas semelhantes são agregadas e são exibidas como um único item no gráfico Status de satisfação do cliente.
Para avaliar o sentimento da sessão, o modelo NLP subjacente é treinado em conjuntos de dados públicos em inglês. Esse processo analisa o texto da sessão para determinar se o sentimento geral é positivo, negativo ou neutro. O processo também processa consultas do usuário para remover falsos positivos. Por exemplo, esse pré-processamento garante que uma consulta como "qual é a melhor opção?" não seja classificada como positiva apenas porque a palavra "melhor" aparece na consulta.