Klassisk chatrobot-analyse
Viktig!
I denne artikkelen beskriver vi måleverdiene og dataene som er tilgjengelige for den klassiske chatrobot-analyseopplevelsen. Copilot Studio bruker analyse for moderne agenter som standard. Klassisk chatrobot analyse er tilgjengelig på forespørsel. Send inn en forespørsel ved å kontakte teknisk støtte.
På Sammendrag-fanen på Analyse-siden får du en omfattende oversikt over ytelsen til KI-agenten. Den bruker kunstig intelligens (KI) til å vise deg hvilke emner som har størst innvirkning på eskaleringshastighet, avbruddsfrekvens og løsningsgrad.
Analyseøkter sporer bruken av agenten og prøver å registrere hvor godt agenten håndterer brukeroppgaver. Én enkelt samtale kan inneholde en eller flere analyseøkter. Hver økt er knyttet til en bestemt emne. Det siste systemsystemet som ble emneutløst – eller det første systememnet utløst, hvis ingen ikke-systememner ble utløst, er knyttet til den analyseøkten.
Sammendragsdiagrammene måler hvor godt agenten din gjør det, og hjelper deg med å finne emnene som påvirker agentens ytelse mest. En økt blir tidsavbrutt etter 30 minutter med inaktivitet.
En økt starter når en bruker samhandler med agenten din, eller agenten sender en proaktiv melding til brukeren. Økten starter i en ikke-engasjert tilstand.
En økt blir engasjert når ett av følgende skjer:
- et ikke-systememne utløses
- økten eskaleres
- basisemnet utløses
- diskusjonsforbedringsemnet utløses
Når økten blir engasjert, forblir den engasjert. En engasjert økt kan ha ett av følgende resultater: løst, videresendt eller avsluttet.
En økt avsluttes og vurderes som videresendt når emnet Eskaler utløses eller noden Overfør til agent kjøres. (Nåværende analyseøkt avsluttes, uavhengig av om samtalen overføres til en menneskelig agent eller ikke.)
En økt avsluttes og vurderes som avsluttet når:
- Emnet Slutt på samtale er utløst, og brukeren bekrefter at samhandlingen var vellykket, eller lar økten bli tidsavbrutt.
- Emnet Bekreftet suksess er utløst.
En økt avsluttes og betraktes som forlatt når en engasjert økt blir tidsavbrutt og den ikke nådde en løst eller eskalert tilstand.
Sammendrag-fanen inneholder diverse diagrammer med grafiske visninger av KPI-ene til agenten. Resten av denne artikkelen beskriver hvert diagram mer detaljert.
Tips
- Som standard viser siden deg viktige ytelsesindikatorer (KPI-er) for de siste sju dagene. Hvis du vil endre tidsperioden, bruker du datokontrollene øverst på siden.
- Samtaletranskripsjoner for analyse i den klassiske chatroboten i Dataverse er tilgjengelige omtrent seks timer etter at analyseøkten starter.
Sammendragsdiagrammer
Sammendragsdiagrammene oppsummerer KPI-ene for den angitte tidsperioden og den prosentvise endringen i perioden.
| Beskrivelse | Detaljer |
|---|---|
| Totalt antall økter | Totalt antall økter innenfor den angitte tidsperioden. |
| Engasjementsgrad | Prosentandelen av totalt antall økter ble engasjert. |
| Løsningsfrekvens | Prosentandelen av engasjerte økter som ble løst. |
| Eskaleringshyppighet | Prosentandelen av engasjerte økter som ble eskalert. |
| Avbruddsfrekvens | Prosentandelen av engasjerte økter som ble forlatt. |
| CSAT | Den grafiske visningen av gjennomsnittlig kundetilfredshet (CSAT) for økter der kunder svarer på en forespørsel om avsluttet økt for å gjennomføre undersøkelsen. |
Diagram over engasjement over tid
Diagrammet Engasjement over tid gir en grafisk visning av antall engasjerte og ikke-engasjerte økter over tid.
| Bekrivelse | Details |
|---|---|
| Engasjert | Det daglige antallet engasjerte økter. |
| Ikke engasjert | Det daglige antallet ikke-engasjerte økter. |
Diagram over øktresultater over tid
Øktresultatet over tid gir en grafisk visning av den daglige løsningsfrekvensen, eskaleringsfrekvensen og avbruddsfrekvensen for den angitte tidsperioden.
| Bekrivelse | Details |
|---|---|
| Avsluttet | Den daglige hyppigheten av løste økter. |
| Oppjustert | Den daglige hyppigheten av eskalerte økter. |
| Forkastet | Den daglige hyppigheten av avbrutte økter. |
Diagram over drivere for løsningsfrekvens
Diagrammet over drivere for løsningsfrekvens viser emner etter deres innvirkning på løsningsfrekvensen for den angitte tidsperioden.
| Beskrivelse | Detaljer |
|---|---|
| Emne | Et Copilot Studio-emne. |
| Akkord | Prosentandelen av engasjerte økter for emnet som ble løst. |
| Innvirkning | Poengsum for innvirkning på løsningsfrekvens for emnet. Poengsummen for innvirkning for en løsningsfrekvens er den totale løsningsfrekvensen, inkludert emnet minus den totale løsningsfrekvensen unntatt emnet. |
Diagrammet viser innvirkningen som en prosent. Emner med en positiv innvirkningsprosent er emner med en løsningsgrad som er høyere enn gjennomsnittet – de økte den totale løsningsfrekvensen for agenten din.
Øk løsningsgraden for emner med høy negativ innvirkningsprosent for raskere å forbedre den totale løsningsgraden for agenten.
Hvis du vil vise ytterligere informasjon om hvert emne, velger du Detalj-koblingen for å vise siden for emnedetaljer. Hvis du vil ha mer informasjon, kan du se Analyse emnebruk.
Diagram over drivere for eskaleringsfrekvens
Diagrammet over drivere for eskaleringsfrekvens viser emner etter deres innvirkning på eskaleringsfrekvensen for den angitte tidsperioden.
| Beskrivelse | Detaljer |
|---|---|
| Emne | Et Copilot Studio-emne. |
| Akkord | Prosentandelen av engasjerte økter for emnet som ble eskalert. |
| Innvirkning | Poengsum for innvirkning på eskaleringsfrekvens for emnet. Poengsummen for innvirkning for eskaleringsfrekvens er den totale eskaleringsfrekvensen, inkludert emnet minus den totale eskaleringsfrekvensen unntatt emnet. |
Diagrammet viser innvirkningen som en prosent. Emner med en positiv innvirkningsprosent er emner med en eskaleringsrate som er større enn gjennomsnittet – de økte den totale eskaleringsraten til agenten.
Reduser eskaleringsraten for emner med høy innvirksningsprosent for å redusere eskaleringsraten raskere for agenten.
Hvis du vil vise ytterligere informasjon om hvert emne, velger du Detalj-koblingen for å vise siden for emnedetaljer. Hvis du vil ha mer informasjon, kan du se Analyse emnebruk.
Diagram over drivere for avbruddshyppighet
Diagrammet over drivere for avbruddshyppighet viser emner etter deres innvirkning på avbruddshyppigheten for den angitte tidsperioden.
| Beskrivelse | Detaljer |
|---|---|
| Emne | Et Copilot Studio-emne. |
| Akkord | Prosentandelen av engasjerte økter for emnet som ble avbrutt. |
| Innvirkning | Poengsum for innvirkning på avbruddshyppighet for emnet. Poengsummen for innvirkning for avbruddshyppighet er den totale avbruddshyppigheten, inkludert emnet minus den totale avbruddshyppigheten unntatt emnet. |
Diagrammet viser innvirkningen som en prosent. Emner med en positiv innvirkningsprosent er emner med en avbruddsrate som er større enn gjennomsnittet – de økte den totale avbruddsfrekvensen til agenten din.
Reduser avbruddsfrekvensen for emner med høy innvirkningsprosent for raskere å redusere avbruddsfrekvensen for agenten din.
Hvis du vil vise ytterligere informasjon om hvert emne, velger du Detalj-koblingen for å vise siden for emnedetaljer. Hvis du vil ha mer informasjon, kan du se Analyse emnebruk.
Analyser agentens kundetilfredshetsverdier
Fanen Kundetilfredshet på Analyse-siden gir en detaljert visning av evalueringsdata for kundetilfredshet (CSAT), inkludert den gjennomsnittlige CSAT-poengsummen, spørringstemaer for hovedbruker og handlingsrettet innsikt om det som gjør kunder fornøyde eller misfornøyde med svarene fra agenten.
Som standard viser siden viktige ytelsesindikatorer (KPI-er) for de siste sju dagene. Du kan endre tidsperioden ved å bruke du datovelgerne øverst på siden. Du kan hente data for en periode i løpet av de siste 45 dagene.
Poengsum for kundetilfredshet
Diagrammet Poengsum for kundetilfredshet gir en grafisk visning av gjennomsnittlige CSAT-poengsummer for økter der kunder svarer på en forespørsel ved slutten av samtalen om å gjøre evalueringen. CSAT-evalueringen ber kunder om vurdere funksjonen på en skala fra 1 til 5. Hvis en kunde svarer på mer enn én evaluering i samme økt, brukes bare den siste.
Dette diagrammet har også en indikator for endring fra periode til periode. Når du for eksempel velger en periode på tre dager, viser indikatoren prosent endring i forhold til de tre dagene før den valgte perioden. Indikatoren for endring fra periode til periode vises bare hvis agenten har CSAT-evalueringsdata tilgjengelig for den forrige perioden. Hvis ingen CSAT-evalueringsdata er tilgjengelige for samme etterfølgende periode i forhold til det som er valgt i filteret, vises ikke indikatoren for endring fra periode til periode.
Svarandel på CSAT-undersøkelse
Diagrammet Svarfrekvens for CSAT-evaluering viser antallet CSAT-undersøkelser som ble presentert ved slutten av samtalen, og prosentandelen av evalueringer som ble fullført.
Analyse av kundetilfredshet
Diagrammet Analyse av kundetilfredshet viser at prosentandelen av økter der kunder var fornøyde, misfornøyde eller nøytrale i den valgte tidsperioden. Statusruten for kundetilfredshet inneholder flere detaljer om de ulike signalene som brukes til å fastsette statusen for tilfredshet i økten.
Kundetilfredshetsstatus
Diagrammet Status for kundetilfredshet inneholder nøkkelinformasjon om temaene som brukerne søker etter, og tilfredsstillelsesnivået til brukerne vedrørende svarene fra agenten. Økter med lignende temaer grupperes. Diagrammet viser antall økter for hvert tema i den valgte perioden, og prosentandelen av disse øktene der kundene var fornøyde eller misfornøyde. Økter der kunder ikke var fornøyde og ikke misfornøyde, betraktes som nøytrale økter og vises ikke i dette diagrammet.
Temaet for en gitt økt utledes ved hjelp av maskinlæringsmodeller. Temaene behandles før de sendes til instrumentbordet for analyse, for å fjerne personlige opplysninger eller sensitiv informasjon, for eksempel telefonnumre. Hvis temaene i tillegg inneholder upassende eller skadelig språkbruk, blir disse temaene maskert.
Hold musepekeren over hvert segment i diagrammet for å se de bestemte tilfredshets- eller misnøyefaktorene. Hvis noen av vilkårene gjelder for en gitt økt, klassifiseres økten som fornøyd eller misfornøyd:
En økt betraktes som misfornøyd hvis følgende er tilfelle:
- Brukeren ga evalueringen to stjerner eller mindre ved slutten av samtalen.
- Brukeren ble bedt om å omformulere spørringen to ganger eller flere enn to ganger i (systembasisemnet).
- Brukeren avbrøt økten.
- Brukeren eskalerte økten til en live agent.
- Det generelle sentimentet til brukeren om samtalen med agenten klassifiseres som negativt. Sentimentet fastsettes ved hjelp av en allment tilgjengelig maskinlæringsmodell som er finjustert for sentimentanalyse.
En økt betraktes som fornøyd hvis følgende er tilfelle:
- Brukeren ga evalueringen fire stjerner eller mer ved slutten av samtalen.
- Brukeren ble ikke bedt om å omformulere spørringen flere enn to ganger i (systembasisemnet).
- Økten ble løst.
- Det generelle sentimentet til brukeren om samtalen med agenten klassifiseres som positivt.
Økter som ikke oppfyller noen av vilkårene ovenfor, betraktes som nøytrale økter og vises ikke i dette diagrammet.
I Sammendrag-fanen på Analyse-siden kan du bruke informasjonsikonene til å finne ut mer om frekvenser for engasjement, eskalering, avbrudd og løsning.
Uttrekking av tema- og øktsentiment
Copilot Studio bruker teknikker ved naturlig språkbehandling (NLP) til å trekke ut emner og tilordne sentiment til en gitt agentøkt.
For hver økt trekker Copilot Studio ut temaer fra den første ytringen til brukeren. Individuelle økter med lignende temaer samles og vises som ett element i diagrammet Status for kundetilfredshet.
Den underliggende NLP-modellen er lært opp på offentlige, engelskspråklige datasett. Denne prosessen analyserer teksten i økten for å avgjøre om det generelle sentimentet er positivt, negativt eller nøytralt. Prosessen forhåndsbehandler også brukerspørringer for å fjerne falske positiver. Denne forhåndsbehandlingen sikrer for eksempel at en spørring som «Hvilket alternativ er best?» ikke klassifiseres som positivt, bare fordi ordet «best» vises i spørringen.