Analýza klasických chatbotů
Důležité
Tento článek popisuje metriky a data, která jsou k dispozici pro analýzu klasických chatbotů. Ve výchozím nastavení Copilot Studio používá analýzy pro moderní agenty. Analýza klasických chatbotů je k dispozici na vyžádání. Odešlete žádost kontaktováním technické podpory.
Karta Souhrn na stránce Analýza poskytuje široký přehled o výkonu vašeho agenta. Využívá technologii umělé inteligence (AI), aby vám ukázal, která témata mají největší vliv na míru eskalace, míru opuštění a míru řešení.
Analytické relace sledují zapojení uživatelů do vašeho agent a snaží se zachytit, jak dobře váš agent zvládá uživatelské úkoly. Jedna konverzace může obsahovat jednu nebo více analytických relací. Každá relace je přidružena ke konkrétnímu tématu. Poslední spuštěné nesystémové téma – nebo první spuštěné systémové téma, pokud nebyla spuštěna žádná nesystémová témata – je přidruženo k analytické relaci.
Souhrnné grafy měří, jak dobře si váš agent vede, a pomáhají vám detekovat témata, která nejvíce ovlivňují výkon agenta. Relace vyprší po 30 minutách nečinnosti.
Relace se spustí, když uživatel komunikuje s vaším agentem nebo agent odešle uživateli proaktivní zprávu. Relace začíná v nezapojeném stavu.
Relace se stane zapojenou, když nastane jedna z následujících situací:
- je aktivováno nesystémové téma,
- relace je eskalována,
- je aktivováno záložní téma,
- je aktivováno konverzační posílení tématu.
Jakmile se relace zapojí, zůstává zapojená. Relace se zapojením může mít jeden z následujících výsledků: vyřešeno, eskalováno nebo opuštěno.
Relace končí a je považována za eskalovanou, když se aktivuje téma Eskalovat nebo je spuštěn uzel Přepojit na agenta. (Aktuální analytická relace končí, ať už je konverzace přepojena na živého agenta, nebo ne.)
Relace končí a je považována za vyřešenou, když:
- Je aktivováno téma Konec konverzace a uživatel potvrdí, že interakce byla úspěšná, nebo nechá relaci vypršet.
- Je aktivováno téma Potvrzený úspěch.
Relace skončí a je považována za opuštěnou, když relace se zapojením vyprší a nedosáhne vyřešeného nebo eskalovaného stavu.
Karta Souhrn obsahuje různé grafy s grafickými zobrazeními klíčových ukazatelů výkonu agenta. Zbytek tohoto článku popisuje každý graf podrobněji.
Tip
- Ve výchozím nastavení se na stránce zobrazují klíčové ukazatele výkonu za posledních sedm dní. Chcete-li změnit časové období, použijte ovládací prvky data v horní části stránky.
- Přepisy konverzací pro analýzu klasických chatbotů v aplikaci Dataverse jsou k dispozici přibližně šest hodin po zahájení analytické relace.
Souhrnné grafy
Souhrnné grafy shrnují klíčové ukazatele výkonu pro zadané časové období a procentuální změnu za dané období.
Popis | Podrobnosti |
---|---|
Celkový počet relací | Celkový počet relací během zadaného časového období. |
Míra zapojení | Celkové procento relací, které se stanou zapojenými. |
Rychlost řešení | Celkové procento relací se zapojením, které byly vyřešeny. |
Míra eskalace | Procento relací se zapojením, které byly eskalovány. |
Míra opuštění | Celkové procento relací se zapojením, které byly opuštěny. |
Spokojenost zákazníků | Graf průměrného skóre spokojenosti zákazníků (CSAT) poskytuje grafický pohled na průměrné skóre CSAT za relace, ve kterých zákazníci reagují na žádost o provedení průzkumu na konci relace. |
Graf zapojení v průběhu času
Graf Zapojení v průběhu času poskytuje grafický pohled na počet relací se zapojením a bez zapojení v průběhu času.
Description | Detaily |
---|---|
Se zapojením | Denní počet relací se zapojením. |
Bez zapojení | Denní počet relací bez zapojení. |
Graf Výsledky relace v průběhu času
Graf Výsledky relace v průběhu času zobrazuje grafické zobrazení denní rychlosti řešení, míry eskalace a míry opuštění během zadaného časového období.
Description | Detaily |
---|---|
Vyřešeno | Denní míra vyřešených relací. |
Eskalováno | Denní míra eskalovaných relací. |
Opuštěno | Denní míra opuštěných relací. |
Graf Faktory rychlosti řešení
Graf Faktory rychlosti řešení zobrazuje témata v pořadí podle jejich dopadu na rychlost řešení za zadané časové období.
Popis | Podrobnosti |
---|---|
Téma | Téma Copilot Studio. |
Míra | Celkové procento relací se zapojením pro téma, které byly vyřešeny. |
Dopad | Skóre dopadu tématu na rychlost řešení. Skóre dopadu na rychlosti řešení je celková rychlost řešení včetně tématu mínus celková rychlost řešení bez tématu. |
Graf zobrazuje dopad jako procento. Témata s procentem pozitivního dopadu jsou témata s vyšší než průměrnou mírou řešení – zvýšila celkovou míru vyřešení vašeho agenta.
Zvyšte míru řešení témat s vysokým procentem negativního dopadu, abyste rychleji zlepšili celkovou míru řešení pro svého agenta.
Chcete-li zobrazit další informace o každém tématu, vyberte odkaz Detail, kterým zobrazíte stránku s podrobnostmi tématu. Další informace získáte na stránce Analýza použití tématu.
Graf Faktory míry eskalace
Graf Faktory míry eskalace zobrazuje témata v pořadí podle jejich dopadu na míru eskalace za zadané časové období.
Popis | Podrobnosti |
---|---|
Téma | Téma Copilot Studio. |
Míra | Celkové procento relací se zapojením pro téma, které byly eskalovány. |
Dopad | Skóre dopadu tématu na míru eskalace. Skóre dopadu na míru eskalace je celková míra eskalace včetně tématu mínus celková míra eskalace bez tématu. |
Graf zobrazuje dopad jako procento. Témata s procentem pozitivního dopadu jsou témata s vyšší než průměrnou mírou eskalace – zvýšila celkovou míru eskalace vašeho agenta.
Snižte míru eskalace témat s vysokým procentem dopadu, abyste rychleji snížili míru eskalace pro svého agenta.
Chcete-li zobrazit další informace o každém tématu, vyberte odkaz Detail, kterým zobrazíte stránku s podrobnostmi tématu. Další informace získáte na stránce Analýza použití tématu.
Graf Faktory míry opuštění
Graf Faktory míry opuštění zobrazuje témata v pořadí podle jejich dopadu na míru opuštění za zadané časové období.
Popis | Podrobnosti |
---|---|
Téma | Téma Copilot Studio. |
Míra | Celkové procento relací se zapojením pro téma, které byly opuštěny. |
Dopad | Skóre dopadu tématu na míru opuštění. Skóre dopadu na míru opuštění je celková míra opuštění včetně tématu mínus celková míra opuštění bez tématu. |
Graf zobrazuje dopad jako procento. Témata s procentem pozitivního dopadu jsou témata s vyšší než průměrnou mírou opuštění – zvýšila celkovou míru opuštění vašeho agenta.
Snižte míru opuštění témat s vysokým procentem dopadu, abyste rychleji snížili míru opuštění vašeho agenta.
Chcete-li zobrazit další informace o každém tématu, vyberte odkaz Detail, kterým zobrazíte stránku s podrobnostmi tématu. Další informace získáte na stránce Analýza použití tématu.
Analýza metrik spokojenosti zákazníků agenta
Karta Spokojenost zákazníků na stránce Analýza poskytuje podrobné zobrazení dat průzkumu spokojenosti zákazníků (CSAT), včetně průměrného skóre CSAT, primárních témat uživatelských dotazů a užitečných přehledů o faktorech spokojenosti nebo nespokojenosti s odpověďmi vašeho agent.
Ve výchozím nastavení se na stránce zobrazují klíčové ukazatele výkonu za posledních sedm dní. Chcete-li změnit časové období, použijte nástroje pro výběr data v horní části stránky. Můžete načíst data z jakéhokoli období za posledních 45 dnů.
Skóre spokojenosti zákazníků
Graf Skóre spokojenosti zákazníků poskytuje grafický pohled na průměrné skóre CSAT za relace, ve kterých zákazníci reagují na žádost o provedení průzkumu na konci konverzace. Průzkum CSAT žádá zákazníky, aby ohodnotili svou zkušenost na stupnici od 1 do 5. Pokud zákazník odpoví na více než jeden průzkum ve stejné relaci, použije se pouze ten nejnovější.
Tento graf také poskytuje indikátor změny mezi obdobími. Když například vyberete třídenní období, indikátor zobrazí procentuální změnu vzhledem ke třem dnům před vybraným obdobím. Indikátor období za období se zobrazí pouze v případě, že váš agent má k dispozici data průzkumu CSAT za předchozí období. Pokud nejsou k dispozici žádná data z průzkumu CSAT pro stejnou koncovou dobu vzhledem k tomu, co je vybráno ve filtru, indikátor období za období se nezobrazí.
Míra odpovědí respondentů na průzkum spokojenosti zákazníků
Graf míry odpovědí respondentů CSAT na průzkum spokojenosti zákazníků ukazuje počet průzkumů CSAT na konci konverzace, které byly předloženy, a procento průzkumů, které byly dokončeny.
Rozložení spokojenosti zákazníků
Graf Rozdělení spokojenosti zákazníků ukazuje procento návštěv, které byly ve zvoleném časovém období spokojené, nespokojené nebo neutrální. Podokno stavu spokojenosti zákazníka poskytuje další údaje o různých signálech používaných k určení stavu spokojenosti s konverzací.
Stav spokojenosti zákazníků
Graf stavu spokojenosti zákazníků poskytuje klíčové informace o tématech, která uživatelé hledají, a o úrovni spokojenosti uživatelů s odpověďmi agent. Konverzace s podobnými tématy jsou seskupeny. Graf ukazuje počet návštěv pro každé téma během vybraného období a procento těchto návštěv, které byly spokojeny nebo nespokojeny. Konverzace, které nebyly spokojeny ani nespokojeny, jsou považovány za neutrální konverzace a v tomto grafu se nezobrazují.
Téma dané konverzace je odvozeno pomocí ML modelů. Před odesláním na analytický panel jsou témata zpracována tak, aby byly odstraněny jakékoli osobní údaje nebo citlivé informace, jako jsou telefonní čísla. Kromě toho, pokud témata obsahují vulgární nebo škodlivý jazyk, jsou tato témata maskována.
Umístěním ukazatele myši na každý segment grafu zobrazíte konkrétní faktory spokojenosti nebo nespokojenosti. Pokud pro danou návštěvu platí některé z kritérií, je konverzace klasifikována jako spokojená nebo nespokojená:
Konverzace je považována za nespokojenou, pokud:
- Uživatel dal v průzkumu na konci konverzace dvě hvězdičky nebo méně.
- Uživatel byl požádán, aby přeformuloval svůj dotaz dvakrát nebo více než dvakrát v (systémovém náhradním tématu).
- Uživatel opustil konverzaci.
- Uživatel eskaloval konverzaci k živému agentovi.
- Celkový dojem uživatele z konverzace s agent je klasifikován jako negativní. Sentiment se určuje pomocí veřejně dostupného modelu ML doladěného pro analýzu sentimentu.
Konverzace je považována za spokojenou, pokud:
- Uživatel dal v průzkumu na konci konverzace čtyři hvězdičky nebo více.
- Uživatel nebyl požádán, aby přeformuloval svůj dotaz více než jednou v (systémovém náhradním tématu).
- Konverzace byla vyřešena.
- Celkový dojem uživatele z konverzace s agent je klasifikován jako pozitivní.
Konverzace, které nesplňují žádné z výše uvedených kritérií, jsou považovány za neutrální konverzace a v tomto grafu se nezobrazují.
Na kartě Souhrn na stránce Analýza můžete pomocí ikon Informace získat další informace o zapojení, eskalaci, míra opuštění a řešení.
Extrakce tématu a sentimentu konverzace
Copilot Studio používá techniky zpracování přirozeného jazyka (NLP) k extrakci témat a přiřazení sentimentu k dané konverzaci agenta.
Pro každou konverzaci Copilot Studio extrahuje témata z prvního uživatelského výroku. Jednotlivé konverzace s podobnými tématy jsou agregovány a zobrazují se jako jedna položka v grafu Stav spokojenosti zákazníků.
Aby bylo možné vyhodnotit náladu konverzace, je základní model NLP trénován na veřejných anglických datových sadách. Tento proces analyzuje text relace a určuje, zda je celkový postoj pozitivní, negativní nebo neutrální. Tento proces také předběžně zpracovává dotazy uživatelů, aby se odstranily falešně pozitivní výsledky. Toto předběžné zpracování například zajišťuje, že dotaz jako „jaká je nejlepší možnost?“ není klasifikováno jako pozitivní pouze proto, že se v dotazu vyskytuje slovo „nejlepší“.