Analisi chatbot classica
Importante
Questo articolo descrive le metriche e i dati disponibili per l'esperienza di analisi chatbot classica. Per impostazione predefinita, Copilot Studio utilizza l'analisi per gli agenti moderni. L'analisi dei chatbot classica è disponibile su richiesta. Invia una richiesta contattando l'assistenza tecnica.
La scheda Riepilogo della pagina Analisi fornisce una panoramica completa delle prestazioni dell'agente IA. Usa la tecnologia IA per mostrare gli argomenti che hanno un impatto maggiore sulla frequenza di escalation, abbandono e risoluzione.
Sessioni di analisi tiene traccia del coinvolgimento degli utenti con l'agente e prova ad acquisire quanto bene l'agente gestisce le attività degli utenti. Una singola conversazione può contenere una o più sessioni di analisi. Ogni sessione è associata a uno specifico argomento. L'ultimo argomento non di sistema attivato o il primo argomento di sistema attivato, se non sono stati attivati argomenti non di sistema, è associato alla sessione analitica.
I grafici riepilogativi misurano l'andamento del tuo agente e ti aiutano a trovare gli argomenti che influenzano maggiormente le prestazioni del tuo agente. Una sessione scadrà dopo 30 minuti di inattività.
Una sessione inizia quando un utente interagisce con l'agente o l'agente invia un messaggio proattivo all'utente. La sessione inizia in uno stato non impegnato.
Una sessione diventa impegnate quando si verifica una delle seguenti condizioni:
- viene attivato un argomento non di sistema
- la sessione viene scalata
- viene attivato l'argomento di fallback
- viene attivato l'argomento di potenziamento conversazionale
Una volta che la sessione diventa impegnata, rimane impegnata. Una sessione impegnata può avere uno dei seguenti risultati: risolto, riassegnato o abbandonato.
Una sessione viene conclusa e si considera riassegnata quando viene attivato l'argomento Esegui escalation oppure viene eseguito un nodo Trasferisci ad agente. L'attuale sessione di analisi termina, indipendentemente dal fatto che la conversazione venga trasferita o meno a un agente dal vivo.
Una sessione termina ed è considerata risolta quando:
- Viene attivato l'argomento Fine della conversazione e l'utente conferma che l'interazione è andata a buon fine o lascia scadere la sessione.
- Viene attivato l'argomento Esito positivo confermato.
Una sessione termina ed è considerata abbandonata quando una sessione impegnata scade e non ha raggiunto uno stato risolto o inoltrato.
Nella scheda Riepilogo sono inclusi vari grafici con rappresentazioni grafiche degli indicatori di prestazioni chiave dell'agente. Il resto di questo articolo descrive ogni grafico in modo più dettagliato.
Suggerimento
- Per impostazione predefinita, la pagina mostra gli indicatori chiave di prestazione degli ultimi sette giorni. Per modificare il periodo di tempo, utilizza i controlli della data nella parte superiore della pagina.
- Le trascrizioni delle conversazioni per l'analisi del chatbot classica in Dataverse sono disponibili circa sei ore dopo l'inizio della sessione di analisi.
Grafici di riepilogo
I grafici Riepilogo riassumono gli indicatori di prestazioni chiave per un periodo di tempo specificato e la modifica della percentuale nel periodo.
| Descrizione | Dettagli |
|---|---|
| Sessioni totali | Il numero totale di sessioni entro il periodo di tempo specificato. |
| Tasso di interazione | La percentuale di sessioni totali con interazioni. |
| Frequenza risoluzione | La percentuale di sessioni impegnate che sono state risolte. |
| Frequenza di escalation | La percentuale di sessioni impegnate che sono state riassegnate. |
| Tasso di abbandono | La percentuale di sessioni impegnate che sono state abbandonate. |
| CSAT | La visualizzazione grafica della media dei punteggi di soddisfazione dei clienti (CSAT) per le sessioni in cui i clienti rispondono a una richiesta di fine sessione per partecipare al sondaggio. |
Grafico di engagement nel tempo
Il grafico delle interazioni nel tempo fornisce una vista grafica del numero di sessioni impegnate e non impegnate nel tempo.
| Descrzione | Details |
|---|---|
| Impegnata | Il numero giornaliero di sessioni impegnate. |
| Disimpegnata | Il numero giornaliero di sessioni disimpegnate. |
Grafico dei risultati della sessione nel tempo
Il grafico dei risultati della sessione nel tempo fornisce una visualizzazione grafica della frequenza di risoluzione giornaliera, della frequenza di escalation e della frequenza di abbandono nel periodo di tempo specificato.
| Descrzione | Details |
|---|---|
| Risolto | La frequenza giornaliera delle sessioni risolte. |
| Riassegnato | La frequenza giornaliera delle sessioni riassegnate. |
| Abbandonata | La frequenza giornaliera delle sessioni abbandonate. |
Grafico dei fattori chiave della frequenza di risoluzione
Il grafico dei fattori chiave della velocità di risoluzione visualizza gli argomenti in ordine di impatto sulla velocità di risoluzione nel periodo di tempo specificato.
| Descrizione | Dettagli |
|---|---|
| Argomento | Un argomento Copilot Studio. |
| Tariffa | La percentuale di sessioni impegnate per l'argomento che sono state risolte. |
| Impatto | Il punteggio di impatto della percentuale di risoluzione dell'argomento. Il punteggio di impatto della frequenza di risoluzione è la frequenza di risoluzione complessiva compreso l'argomento meno la frequenza di risoluzione complessiva escluso l'argomento. |
Il grafico visualizza l'impatto come una percentuale. Gli argomenti con una percentuale di impatto positivo sono quelli con un tasso di risoluzione superiore alla media: hanno aumentato il tasso di risoluzione complessivo dell'agente.
Aumenta il tasso di risoluzione degli argomenti con alte percentuali di impatto negativo per migliorare più rapidamente il tasso di risoluzione complessivo per il tuo agente.
Per visualizzare ulteriori informazioni su ciascun argomento, seleziona il collegamento Dettaglio per visualizzare la pagina dei dettagli dell'argomento. Per altre informazioni, vedi Analisi dell'uso dell'argomento.
Grafico dei fattori chiave della frequenza di escalation
Il grafico dei fattori chiave della frequenza di escalation visualizza gli argomenti in ordine di impatto sulla frequenza di escalation nel periodo di tempo specificato.
| Descrizione | Dettagli |
|---|---|
| Argomento | Un argomento Copilot Studio. |
| Tariffa | La percentuale di sessioni impegnate per l'argomento che sono state riassegnate. |
| Impatto | Il punteggio di impatto della frequenza di risoluzione dell'argomento. Il risultato dell'impatto della frequenza di escalation è la frequenza di escalation complessiva compreso l'argomento meno la frequenza di escalation complessiva escluso l'argomento. |
Il grafico visualizza l'impatto come una percentuale. Gli argomenti con una percentuale di impatto positivo sono quelli con un tasso di escalation superiore alla media: hanno aumentato il tasso di escalation complessivo dell'agente.
Riduci il tasso di escalation degli argomenti con percentuali di impatto elevate per diminuire più rapidamente il tasso di escalation per il tuo agente.
Per visualizzare ulteriori informazioni su ciascun argomento, seleziona il collegamento Dettaglio per visualizzare la pagina dei dettagli dell'argomento. Per altre informazioni, vedi Analisi dell'uso dell'argomento.
Grafico dei fattori chiave della frequenza di abbandono
Il grafico dei fattori chiave della frequenza di abbandono visualizza gli argomenti in ordine di impatto sulla frequenza di abbandono nel periodo di tempo specificato.
| Descrizione | Dettagli |
|---|---|
| Argomento | Un argomento Copilot Studio. |
| Tariffa | La percentuale di sessioni impegnate per l'argomento che sono state abbandonate. |
| Impatto | Il punteggio di impatto della frequenza di abbandono dell'argomento. Il risultato dell'impatto della frequenza di abbandono è la frequenza di abbandono complessiva compreso l'argomento meno la frequenza di abbandono complessiva escluso l'argomento. |
Il grafico visualizza l'impatto come una percentuale. Gli argomenti con una percentuale di impatto positivo sono quelli con un tasso di abbandono superiore alla media: hanno aumentato il tasso di abbandono complessivo dell'agente.
Riduci il tasso di abbandono degli argomenti con alte percentuali di impatto per ridurre più rapidamente il tasso di abbandono per il tuo agente.
Per visualizzare ulteriori informazioni su ciascun argomento, seleziona il collegamento Dettaglio per visualizzare la pagina dei dettagli dell'argomento. Per altre informazioni, vedi Analisi dell'uso dell'argomento.
Analizzar le metriche di soddisfazione del cliente dell'agente
La scheda Soddisfazione del cliente della pagina Analisi fornisce una visualizzazione dettagliata dei dati del sondaggio sulla soddisfazione del cliente (CSAT), incluso il punteggio CSAT medio, i temi principali delle query degli utenti e informazioni dettagliate utili sui fattori di soddisfazione o insoddisfazione per le risposte dell'agente.
Per impostazione predefinita, la pagina mostra gli indicatori chiave di prestazione degli ultimi sette giorni. Per modificare il periodo di tempo, utilizza i selettori di date nella parte superiore della pagina. È possibile recuperare i dati per qualsiasi periodo negli ultimi 45 giorni.
Punteggio di soddisfazione del cliente
Il grafico del Punteggio di soddisfazione del cliente fornisce una visualizzazione grafica della media dei punteggi di soddisfazione dei clienti (CSAT) per le sessioni in cui i clienti rispondono a una richiesta di fine della conversazione per partecipare al sondaggio. Il sondaggio CSAT chiede ai clienti di valutare la loro esperienza su una scala da 1 a 5. Se un cliente risponde a più di un sondaggio nella stessa sessione, viene utilizzato solo il più recente.
Questo grafico fornisce anche un indicatore di variazione periodo su periodo. Ad esempio, quando si seleziona un periodo di tre giorni, l'indicatore mostra la variazione percentuale relativa ai tre giorni precedenti al periodo selezionato. L'indicatore periodo su periodo verrà mostrato solo se l'agente ha a disposizione i dati del sondaggio CSAT per il periodo precedente. Se non sono disponibili dati del sondaggio CSAT per lo stesso periodo di tempo finale relativo a quanto selezionato nel filtro, l'indicatore periodo su periodo non verrà visualizzato.
Frequenza di risposta al sondaggio CSAT
Il grafico della frequenza di risposta al sondaggio CSAT mostra il numero di sondaggi CSAT di fine della conversazione presentati e la percentuale di sondaggi completati.
Suddivisione soddisfazione del cliente
Il grafico di Suddivisione della soddisfazione del cliente mostra la percentuale di sessioni soddisfatte, insoddisfatte o neutre nel periodo di tempo selezionato. Il Riquadro dello stato di soddisfazione del cliente fornisce maggiori dettagli sui vari segnali utilizzati per determinare lo stato di soddisfazione della sessione.
Stato soddisfazione del cliente
Il grafico Stato di soddisfazione del cliente fornisce informazioni dettagliate chiave sui temi cercati dagli utenti e sul livello di soddisfazione degli utenti riguardo alle risposte dell'agente. Le sessioni con temi simili vengono raggruppate insieme. Il grafico mostra il numero di sessioni per ciascun tema durante il periodo selezionato e la percentuale di sessioni soddisfatte o insoddisfatte. Le sessioni che non sono state né soddisfatte né insoddisfatte sono considerate sessioni neutre e non compaiono in questo grafico.
Il tema di una determinata sessione viene determinato utilizzando modelli ML. Prima di essere inviati al dashboard di analisi, i temi vengono elaborati per rimuovere eventuali dati personali o informazioni sensibili, come i numeri di telefono. Inoltre, se contengono linguaggio esplicito o dannoso, questi temi vengono mascherati.
Passa il mouse su ciascun segmento del grafico per visualizzare i fattori specifici di soddisfazione o insoddisfazione. Se uno qualsiasi dei criteri è vero per una determinata sessione, la sessione viene classificata come soddisfatta o insoddisfatta:
Una sessione viene considerata insoddisfatta se:
- L'utente ha assegnato due stelle o meno al sondaggio di fine conversazione.
- All'utente è stato chiesto di riformulare la query due o più volte nell'(argomento di fallback di sistema).
- L'utente ha abbandonato la sessione.
- L'utente ha inoltrato la sessione a un agente live.
- La valutazione generale dell'utente riguardo alla conversazione con l'agente viene classificata come negativa. La valutazione viene determinata utilizzando un modello ML disponibile pubblicamente ottimizzato per l'analisi della valutazione.
Una sessione viene considerata soddisfatta se:
- L'utente ha assegnato quattro o più stelle al sondaggio di fine conversazione.
- All'utente non è stato chiesto di riformulare la query più di una volta nell'(argomento di fallback di sistema).
- La sessione è stata risolta.
- Il sentiment generale dell'utente sulla sua conversazione con il agente è classificato come positivo.
Le sessioni che non soddisfano nessuno dei criteri sopra indicati sono considerate sessioni neutre e non vengono visualizzate in questo grafico.
Nella scheda Riepilogo della pagina Analisi puoi utilizzare le icone Informazioni per saperne di più sui tassi di coinvolgimento, escalation, abbandono e risoluzione.
Estrazione della valutazione sul tema e sulla sessione
Copilot Studio utilizza tecniche di elaborazione del linguaggio naturale (NLP) per estrarre temi e assegnare valutazioni a una determinata sessione con agente.
Per ogni sessione, Copilot Studio estrae i temi dalla prima espressione dell'utente. Le singole sessioni con temi simili vengono aggregate e vengono visualizzate come un singolo elemento nel grafico Stato di soddisfazione del cliente.
Per valutare il sentiment della sessione, il modello NLP sottostante viene addestrato su set di dati pubblici in lingua inglese. Questo processo analizza il testo della sessione per determinare se il sentimento generale è positivo, negativo o neutro. Il processo preelabora anche le query degli utenti per rimuovere i falsi positivi. Ad esempio, questa preelaborazione garantisce che una query come "qual è l'opzione migliore?" non venga classificata come positiva solo perché nella query è presente la parola "migliore".