Klassische Chatbot-Analyse
Wichtig
In diesem Artikel werden die Metriken und Daten beschrieben, die für die klassische Chatbot-Analyse verfügbar sind. Copilot Studio nutzt standardmäßig Analysen für moderne Agenten. Klassische Chatbot-Analysen sind auf Anfrage erhältlich. Senden Sie eine Anfrage, indem Sie sich an den technischen Support wenden.
Die Registerkarte Zusammenfassung der Seite Analyse gibt Ihnen einen umfassenden Überblick über die Leistung Ihres Agenten. Sie verwendet die Technologie der künstlichen Intelligenz (KI), um anzuzeigen, welche Themen den größten Einfluss auf die Eskalationsrate, Abbruchrate und Lösungsrate haben.
Analysesitzungen verfolgen die Benutzerinteraktion mit Ihrem Agenten und versuchen, zu erfassen, wie gut Ihr Agent mit Benutzeraufgaben zurechtkommt. Eine einzelne Unterhaltung kann eine oder mehrere Analysesitzungen enthalten. Jede Sitzung ist einem bestimmten Thema zugewiesen. Das zuletzt ausgelöste Nicht-Systemthema – oder das erste ausgelöste Systemthema, wenn keine Nicht-Systemthemen ausgelöst wurden – wird der Analysesitzung zugeordnet.
Die Übersichtsdiagramme messen, wie gut Ihr Agent abschneidet, und helfen Ihnen, die Themen zu finden, die sich am meisten auf die Leistung Ihres Agenten auswirken. Eine Sitzung wird nach 30 Minuten Inaktivität beendet.
Eine Sitzung beginnt, wenn ein Benutzer mit Ihrem Agenten interagiert oder der Agent eine proaktive Nachricht an den Benutzer sendet. Die Sitzung beginnt in einem nicht aktiven Zustand.
Eine Sitzung wird aktiv, wenn eines der folgenden Ereignisse eintritt:
- ein systemfremdes Thema wird ausgelöst
- die Sitzung wird eskaliert
- das Fallbackthema wird ausgelöst
- das Konversationsförderungsthema wird ausgelöst
Sobald die Sitzung aktiviert wird, bleibt sie aktiviert. Eine aktive Sitzung kann eines der folgenden Ergebnissen haben: gelöst, eskaliert oder abgebrochen.
Eine Sitzung endet und wird als eskaliert betrachtet, wenn das Thema Eskalieren ausgelöst wird oder ein Übertragen an Agent-Knoten ausgeführt wird. (Die aktuelle Analysesitzung endet, unabhängig davon, ob die Unterhaltung an einen Live-Agenten übertragen wird oder nicht.)
Eine Sitzung endet und gilt als gelöst wenn entweder:
- Das Thema Ende der Unterhaltung ausgelöst wird und der Benutzer bestätigt, dass die Interaktion erfolgreich war, oder die Sitzung ablaufen lässt.
- Das Thema Bestätigter Erfolg ausgelöst wird.
Eine Sitzung endet und wird als abgebrochen betrachtet, wenn eine aktive Sitzung das Zeitlimit überschreitet und den Status „Gelöst“ oder „Eskaliert“ niemals erreicht.
Die Registerkarte „Zusammenfassung“ enthält eine Vielzahl von Diagrammen mit grafischen Ansichten der Key Performance Indicators Ihres Agenten. Der Rest dieses Artikels beschreibt die einzelnen Diagramme ausführlicher.
Trinkgeld
- Standardmäßig werden auf der Seite Key Performance Indicators für die letzten sieben Tage angezeigt. Um den Zeitraum zu ändern, verwenden Sie die Datumssteuerelemente oben auf der Seite.
- Gesprächstranskripte für die klassische Chatbot-Analyse in Dataverse sind etwa sechs Stunden nach Beginn der Analysesitzung verfügbar.
Diagramme „Zusammenfassung“
Die Zusammenfassungsdiagramme fassen die Key Performance Indicators für den angegebenen Zeitraum und die Prozentveränderung für den Zeitraum zusammen.
| Beschreibung | Details |
|---|---|
| Sitzungen insgesamt | Die Gesamtzahl der Sitzungen innerhalb des angegebenen Zeitraums. |
| Kundenbindungsrate | Der Prozentsatz der gesamten Sitzungen, die aktiv wurden. |
| Lösungsquote | Der Prozentsatz der aktiven Sitzungen, die aufgelöst wurden. |
| Eskalationsrate | Der Prozentsatz der aktiven Sitzungen, die eskaliert wurden. |
| Abbruchsquote | Der Prozentsatz der aktiven Sitzungen, die abgebrochen wurden. |
| CSAT | Die grafische Ansicht des Durchschnitts der Kundenzufriedenheitsergebnisse (CSAT) für Sitzungen, in denen Kunden auf eine Anfrage zum Ende der Sitzung antworten, um an der Umfrage teilzunehmen. |
Engagement über Zeitdiagramm
Das Diagramm Aktivierung im Zeitverlauf bietet eine grafische Ansicht der Anzahl der aktivierten und nicht aktivierten Sitzungen im Zeitverlauf.
| Beschreibung | Informationen |
|---|---|
| Aktiv | Die tägliche Anzahl aktiver Sitzungen. |
| Nicht aktiviert | Die tägliche Anzahl nicht aktiver Sitzungen. |
Sitzungsergebnisse über Zeitdiagramm
Das Diagramm Sitzungsergebnisse im Zeitverlauf bietet eine grafische Ansicht der täglichen Auflösungsrate, Eskalationsrate und Abbruchrate über den angegebenen Zeitraum.
| Beschreibung | Informationen |
|---|---|
| Gelöst | Die tägliche Rate der aufgelösten Sitzungen. |
| Eskaliert | Die tägliche Rate der eskalierten Sitzungen. |
| Abgebrochen | Die tägliche Rate der abgebrochenen Sitzungen. |
Treiberdiagramm der Abschlussrate
Im Diagramm Treiber der Abschlussrate werden Themen in der Reihenfolge ihrer Auswirkung auf die Auflösungsrate über den angegebenen Zeitraum angezeigt.
| Beschreibung | Details |
|---|---|
| Thema | Ein Copilot Studio-Thema. |
| Steuer | Der Prozentsatz der aktiven Sitzungen für das Thema, die aufgelöst wurden. |
| Auswirkungen | Die Auswirkungsrate der Auflösungsrate des Themas. Die Auswirkungsrate für die Auflösungsrate ist die Gesamtauflösungsrate einschließlich Thema und abzüglich der Gesamtauflösungsrate ohne Thema. |
Im Diagramm werden die Auswirkungen als Prozentsatz angezeigt. Themen mit einem Prozentsatz positiver Auswirkungen sind Themen mit einer überdurchschnittlich hohen Lösungsrate – sie haben die Gesamtlösungsrate Ihres Agenten erhöht.
Erhöhen Sie die Lösungsrate von Themen mit einem hohen Prozentsatz an negativen Auswirkungen, um die Gesamtlösungsrate für Ihren Agent schneller zu verbessern.
Um zusätzliche Informationen zu jedem Thema anzuzeigen, wählen Sie den Link Detail zum Anzeigen der Themendetailseite. Weitere Informationen finden Sie unter Themennutzung analysieren.
Treiberdiagramm der Eskalationsrate
Im Diagramm Treiber der Eskalationsrate werden Themen in der Reihenfolge ihrer Auswirkung auf die Eskalationsrate über den angegebenen Zeitraum angezeigt.
| Beschreibung | Details |
|---|---|
| Thema | Ein Copilot Studio-Thema. |
| Steuer | Der Prozentsatz der aktiven Sitzungen für das Thema, die eskaliert wurden. |
| Auswirkungen | Die Auswirkungsrate der Eskalationsrate des Themas. Die Auswirkungsrate für die Eskalationsrate ist die Gesamteskalationsrate einschließlich Thema und abzüglich der Gesamteskalationsrate ohne Thema. |
Im Diagramm werden die Auswirkungen als Prozentsatz angezeigt. Themen mit einem Prozentsatz positiver Auswirkungen sind Themen mit einer überdurchschnittlichen Eskalationsrate, d. h. sie haben die Gesamteskalationsrate Ihres Agenten erhöht.
Verringern Sie die Eskalationsrate von Themen mit hohem Auswirkungsprozentsatz, um die Eskalationsrate für Ihren Agent schneller zu senken.
Um zusätzliche Informationen zu jedem Thema anzuzeigen, wählen Sie den Link Detail zum Anzeigen der Themendetailseite. Weitere Informationen finden Sie unter Themennutzung analysieren.
Treiberdiagramm der Abbruchrate
Im Diagramm Treiber der Abbruchrate werden Themen in der Reihenfolge ihrer Auswirkung auf die Abbruchrate über den angegebenen Zeitraum angezeigt.
| Beschreibung | Details |
|---|---|
| Thema | Ein Copilot Studio-Thema. |
| Steuer | Der Prozentsatz der aktiven Sitzungen für das Thema, die abgebrochen wurden. |
| Auswirkungen | Die Auswirkungsrate der Abbruchrate des Themas. Die Auswirkungsrate für die Abbruchrate ist die Gesamtabbruchrate einschließlich Thema und abzüglich der Gesamtabbruchrate ohne Thema. |
Im Diagramm werden die Auswirkungen als Prozentsatz angezeigt. Themen mit einem Prozentsatz positiver Auswirkungen sind Themen mit einer überdurchschnittlichen Abbruchrate – sie haben die Gesamtabbruchrate Ihres Agenten erhöht.
Senken Sie die Abbruchrate von Themen mit hohem Auswirkungsprozentsatz, um die Abbruchrate für Ihren Agenten schneller zu senken.
Um zusätzliche Informationen zu jedem Thema anzuzeigen, wählen Sie den Link Detail zum Anzeigen der Themendetailseite. Weitere Informationen finden Sie unter Themennutzung analysieren.
Kundenzufriedenheitsmetriken Ihres Agenten analysieren
Die Registerkarte Kundenzufriedenheit der Seite Analyse bietet eine detaillierte Ansicht der Daten aus der Umfrage zur Kundenzufriedenheit (CSAT), einschließlich der durchschnittlichen CSAT-Bewertung, der wichtigsten Benutzerabfragethemen und umsetzbarer Erkenntnisse zu den Ursachen der Zufriedenheit bzw. Unzufriedenheit mit den Antworten Ihres Agenten.
Standardmäßig werden auf der Seite Key Performance Indicators für die letzten sieben Tage angezeigt. Sie können den Zeitraum über die Datumsauswahl oben auf der Seite ändern. Sie können Daten für einen beliebigen Zeitraum innerhalb der letzten 45 Tage abrufen.
Kundenzufriedenheitsbewertung
Das Diagramm Kundenzufriedenheitsbewertung ist eine grafische Ansicht der durchschnittlichen CSAT-Bewertungen für Sitzungen, in denen Kundschaft auf die Frage am Ende der Sitzung, ob sie an der Umfrage teilnehmen möchte, eingeht. In der CSAT-Umfrage wird die Kundschaft darum gebeten, ihre Erfahrungen auf einer Skala von 1 bis 5 zu bewerten. Wenn ein Kunde in derselben Sitzung auf mehr als eine Umfrage antwortet, wird nur die neueste verwendet.
Dieses Diagramm bietet außerdem einen Indikator für Veränderungen im Vergleich zum Vorjahreszeitraum. Wenn Sie beispielsweise einen Zeitraum von drei Tagen auswählen, zeigt der Indikator die prozentuale Änderung im Verhältnis zu den drei Tagen vor dem ausgewählten Zeitraum an. Der Indikator für den Zeitraumsvergleich erscheint nur, wenn Ihrem Agenten CSAT-Umfragedaten für den vorherigen Zeitraum zur Verfügung stehen. Wenn für den gleichen anschließenden Zeitraum, der zu den Einstellungen im Filter im Verhältnis steht, keine CSAT-Umfragedaten verfügbar sind, erscheint der Indikator für den Zeitraumsvergleich nicht.
CSAT-Umfrageantwortrate
Das Diagramm CSAT-Umfrageantwortrate zeigt die Anzahl der am Ende der Unterhaltung angezeigten CSAT-Umfragen und den Prozentsatz der ausgefüllten Umfragen an.
Kundenzufriedenheitsaufschlüsselung
Das Diagramm Kundenzufriedenheitsaufschlüsselung zeigt den Prozentsatz der Sitzungen, die im ausgewählten Zeitraum als zufriedenstellend, nicht zufriedenstellend oder neutral bewertet wurden. Der Bereich Kundenzufriedenheitsstatus bietet ausführlichere Informationen zu den verschiedenen Signalen, die zur Ermittlung des Zufriedenheitsstatus mit der Sitzung verwendet werden.
Kundenzufriedenheitsstatus
Das Diagramm Kundenzufriedenheitsstatus bietet wichtige Erkenntnisse zu den Themen, nach denen Benutzende suchen, und zum Zufriedenheitsgrad mit den Antworten des Agenten. Sitzungen mit ähnlichen Themen werden zusammengefasst. Das Diagramm zeigt die Anzahl der Sitzungen für jedes Thema während des ausgewählten Zeitraums und den Prozentsatz der zufriedenstellenden und nicht zufriedenstellenden Sitzungen. Sitzungen, die weder zufriedenstellend noch nicht zufriedenstellend waren, gelten als neutrale Sitzungen und erscheinen nicht in diesem Diagramm.
Das Thema einer bestimmten Sitzung wird mithilfe von ML-Modellen abgeleitet. Bevor die Themen an das Analysedashboard gesendet werden, werden sie verarbeitet, wobei alle personenbezogenen Daten oder vertraulichen Informationen, wie Telefonnummern, entfernt werden. Darüber hinaus werden Themen, die Schimpfwörter oder verletzende Aussagen enthalten, maskiert.
Bewegen Sie den Mauszeiger über die einzelnen Segmente des Diagramms, um sich die spezifischen Gründe für die Zufriedenheit bzw. Unzufriedenheit anzeigen zu lassen. Wenn eines der Kriterien auf eine bestimmte Sitzung zutrifft, wird sie als zufriedenstellend bzw. nicht zufriedenstellend eingestuft:
Eine Sitzung gilt in den folgenden Fällen als nicht zufriedenstellend:
- Der Benutzende hat in der Umfrage am Ende der Unterhaltung zwei Sterne oder weniger vergeben.
- Die Benutzende wurde zweimal oder öfter aufgefordert, ihre Abfrage im (Systemfallbackthema) umzuformulieren.
- Der Benutzende hat die Sitzung abgebrochen.
- Die Benutzende hat die Sitzung an einen Live-Agenten eskaliert.
- Die Stimmung des Benutzenden gegenüber der Unterhaltung mit dem Agenten wird insgesamt als negativ eingestuft. Die Stimmung wird mithilfe eines öffentlich verfügbaren ML-Modells ermittelt, das für die Stimmungsanalyse optimiert ist.
Eine Sitzung gilt in den folgenden Fällen als zufriedenstellend:
- Der Benutzende hat in der Umfrage am Ende der Unterhaltung vier Sterne oder weniger vergeben.
- Die Benutzende wurde höchstens einmal aufgefordert, ihre Abfrage im (Systemfallbackthema) umzuformulieren.
- Die Sitzung wurde gelöst.
- Die Stimmung des Benutzenden gegenüber der Unterhaltung mit dem Agenten wird insgesamt als positiv eingestuft.
Sitzungen, die keines der oben genannten Kriterien erfüllen, gelten als neutrale Sitzungen und erscheinen nicht in diesem Diagramm.
Auf der Registerkarte Zusammenfassung auf der Seite Analyse können Sie mithilfe der Informationssymbole mehr über Engagement-, Eskalations-, Abbruch- und Lösungsraten erfahren.
Extraktion von Themen und Sitzungsstimmungen
Copilot Studio verwendet Techniken zur Verarbeitung natürlicher Sprache (NLP), um Themen zu extrahieren und einer bestimmten Agentensitzung eine Stimmung zuzuweisen.
Für jede Sitzung werden Copilot Studio-Themen aus der ersten Äußerung der Benutzenden extrahiert. Einzelne Sitzungen mit ähnlichen Themen werden zusammengefasst und als einzelnes Element im Diagramm Kundenzufriedenheitsstatus angezeigt.
Um die Sitzungsstimmung auszuwerten, wird das zugrunde liegende NLP-Modell anhand öffentlicher englischsprachiger Datensätze trainiert. Bei diesem Prozess wird der Text der Sitzung analysiert, um festzustellen, ob die Stimmung insgesamt positiv, negativ oder neutral ist. Der Prozess verarbeitet auch Benutzerabfragen vor, um falsch positive Ergebnisse zu entfernen. Durch diese Vorverarbeitung wird beispielsweise sichergestellt, dass eine Abfrage wie „Welche Option ist die beste?“ nicht allein deshalb als positiv eingestuft wird, weil das Wort „beste“ darin vorkommt.