Partager via


Analyse chatbot classique

Important

Cet article décrit les métriques et les données disponibles pour l’expérience d’analyse chatbot classique. Par défaut, Copilot Studio utilise les analyses pour les agents modernes. Les analyses classiques chatbot sont disponibles sur demande. Soumettez une demande en contactant le support technique.

L’onglet Résumé de la page Analyses vous donne une aperçu général des performances de votre agent. Il utilise la technologie de l’intelligence artificielle (IA) pour afficher les rubriques ayant le plus d’impact sur le taux de réaffectation, le taux d’abandon et le taux de résolution.

Les sessions d’analyse suivent l’engagement de l’utilisateur avec votre agent et tentent de capturer la façon dont votre agent gère les tâches de l’utilisateur. Une même conversation peut contenir une ou plusieurs sessions d’analyse. Chaque session est associée à un sujet spécifique. Le dernier sujet non système déclenché, ou le premier système sujet déclenché, si aucun sujet non système n’a été déclenché, est associé à la session d’analyse.

Les tableaux récapitulatifs mesurent les performances de votre agent et vous aident à trouver les sujets qui affectent le plus les performances de votre agent. Une session expirera après 30 minutes d’inactivité.

  • Une session démarre lorsqu’un utilisateur interagit avec votre agent ou lorsque l’agent envoie un message proactif à l’utilisateur. La session commence dans un état non engagé .

  • Une séance devient engagée lorsque l’un des événements suivants se produit :

    • une rubrique hors système est déclenchée
    • la session est escaladée
    • la rubrique de base est déclenchée
    • la rubrique d’optimisation conversationnelle est déclenchée

    Une fois que la session est engagée, elle reste engagée. Une sessions engagées peuvent avoir l’un des trois résultats suivants : résolues, escaladées ou abandonnées.

  • Une session se termine et est considérée escaladée quand la rubrique Escalader a été déclenché ou un nœud Transfert à l’agent est exécuté. (La session d’analyse en cours se termine, que la conversation soit transférée à un agent en direct ou non.)

  • Une session se termine et est considérée résolue lorsque :

    • Le sujet Fin de conversation est déclenché et l’utilisateur confirme que l’interaction a réussi ou laisse la session expirer.
    • Le sujet succès confirmé est déclenché.
  • Une session se termine et est considérée abandonnée lorsqu’une session engagée expire et qu’elle n’a pas atteint un état résolu ou escaladé.

L’onglet Résumé comprend divers graphiques affichant les indicateurs de performance clés de votre agent. Le reste de cet article décrit chaque graphique plus en détail.

Astuce

  • Par défaut, la page affiche les indicateurs clés de performance pour les sept derniers jours. Pour modifier la période, utilisez les commandes de date en haut de la page.
  • Les transcriptions de conversation pour les analyses de chatbots classiques dans Dataverse sont disponibles environ six heures après le début de la session d’analyse.

Graphiques de résumé

Graphiques de résumé.

Les graphiques récapitulatifs synthétisent les indicateurs de performance clés pour la période spécifiée et le pourcentage de changement sur la période.

Description Détails
Nombre total de sessions Nombre total de sessions au cours de la période spécifiée.
Taux d’engagement Pourcentage du nombre total de sessions ayant été engagées.
Taux de résolution Pourcentage du nombre de sessions engagées ayant été résolues.
Taux d’escalade Pourcentage du nombre de sessions engagées ayant été escaladées.
Taux d’abandon Pourcentage du nombre de sessions engagées ayant été abandonnées.
CSAT Vue graphique de la moyenne des scores de satisfaction client (CSAT) pour les sessions au cours desquelles les clients répondent à une demande de fin de session pour répondre à l’enquête.

Graphique de l’engagement au fil du temps

Le graphique Engagement au fil du temps fournit une vue graphique du nombre de sessions engagées et non engagées au fil du temps.

Description Informations
Engagée Nombre quotidien de sessions engagées.
Non engagée Nombre quotidien de sessions non engagées.

Graphique des résultats de session au fil du temps

Le graphique Résultats de session au fil du temps fournit une vue graphique du taux quotidien de résolution, d’escalade et d’abandon sur la période spécifiée.

Description Informations
Résolu Taux quotidien de sessions résolues.
Réaffecté Taux quotidien de sessions escaladées.
Abandonné Taux quotidien de sessions abandonnées.

Graphique Pilotes du taux de résolution

Le graphique Pilotes du taux de résolution affiche les rubriques dans l’ordre de leur impact sur le taux de résolution au cours de la période spécifiée.

Description Détails
Sujet Une rubrique Copilot Studio.
Taux Pourcentage du nombre de sessions engagées pour la rubrique ayant été résolues.
Impact Le score d’impact sur le taux de résolution de la rubrique. Le score d’impact sur le taux de résolution est le taux de résolution global incluant la rubrique moins le taux de résolution global excluant la rubrique.

Le graphique affiche l’impact sous la forme d’un pourcentage. Les sujets ayant un pourcentage d’impact positif sont ceux dont le taux de résolution est supérieur à la moyenne, c’est-à-dire qu’ils ont augmenté le taux de résolution global de votre agent.

Augmentez le taux de résolution des sujets ayant un fort impact négatif afin d’améliorer plus rapidement le taux de résolution global de votre agent.

Pour afficher des informations supplémentaires sur chaque rubrique, sélectionnez le lien Détail pour afficher la page de détails de la rubrique. Pour plus d’informations, voir Analyser l’utilisation des rubriques.

Graphique Pilotes du taux d’escalade

Le graphique Pilotes du taux d’escalade affiche les rubriques dans l’ordre de leur impact sur le taux d’escalade au cours de la période spécifiée.

Description Détails
Sujet Une rubrique Copilot Studio.
Taux Pourcentage du nombre de sessions engagées pour la rubrique ayant été escaladées.
Impact Le score d’impact sur le taux d’escalade de la rubrique. Le score d’impact sur le taux d’escalade est le taux d’escalade global incluant la rubrique moins le taux d’escalade global excluant la rubrique.

Le graphique affiche l’impact sous la forme d’un pourcentage. Les sujets ayant un pourcentage d’impact positif sont ceux dont le taux d’escalade est supérieur à la moyenne, c’est-à-dire qu’ils ont augmenté le taux d’escalade global de votre agent.

Réduisez le taux d’escalade des sujets avec des pourcentages d’impact élevés pour réduire plus rapidement le taux d’escalade pour votre agent.

Pour afficher des informations supplémentaires sur chaque rubrique, sélectionnez le lien Détail pour afficher la page de détails de la rubrique. Pour plus d’informations, voir Analyser l’utilisation des rubriques.

Graphique Pilotes du taux d’abandon

Le graphique Pilotes du taux d’abandon affiche les rubriques dans l’ordre de leur impact sur le taux d’abandon au cours de la période spécifiée.

Description Détails
Sujet Une rubrique Copilot Studio.
Taux Pourcentage du nombre de sessions engagées pour la rubrique ayant été abandonnées.
Impact Le score d’impact sur le taux d’abandon de la rubrique. Le score d’impact sur le taux d’abandon est le taux d’abandon global incluant la rubrique moins le taux d’abandon global excluant la rubrique.

Le graphique affiche l’impact sous la forme d’un pourcentage. Les sujets ayant un pourcentage d’impact positif sont ceux dont le taux d’abandon est supérieur à la moyenne : ils ont augmenté le taux d’abandon global de votre agent.

Réduisez le taux d’abandon des sujets avec des pourcentages d’impact élevés pour diminuer plus rapidement le taux d’abandon de votre agent.

Pour afficher des informations supplémentaires sur chaque rubrique, sélectionnez le lien Détail pour afficher la page de détails de la rubrique. Pour plus d’informations, voir Analyser l’utilisation des rubriques.

Analyser les mesures de satisfaction client de votre agent

L’onglet Satisfaction du client de la page Analyse fournit une vue détaillée des données de l’enquête de satisfaction client (CSAT), y compris le score CSAT moyen, les thèmes de requête des utilisateurs principaux et des informations exploitables sur les facteurs de satisfaction ou d’insatisfaction avec les réponses de votre agent.

Par défaut, la page affiche les indicateurs clés de performance pour les sept derniers jours. Pour modifier la période de temps, utilisez les sélecteurs de date en haut de la page. Vous pouvez récupérer des données pour n’importe quelle période au cours des 45 derniers jours.

Page Satisfaction du client.

Score de satisfaction du client

Le graphique Score de satisfaction du client fournit une vue graphique de la moyenne des scores CSAT pour les sessions dans lesquelles les clients répondent à une demande de fin de conversation pour participer à l’enquête. L’enquête CSAT demande aux clients d’évaluer leur expérience sur une échelle de 1 à 5. Si un client répond à plusieurs enquêtes au cours d’une même session, seule la plus récente est utilisée.

Ce graphique fournit également un indicateur de changement d’une période à l’autre. Par exemple, lorsque vous sélectionnez une période de trois jours, l’indicateur affiche le changement en pourcentage par rapport aux trois jours avant la période sélectionnée. L’indicateur d’une période à l’autre n’apparaît que si votre agent dispose de données d’enquête CSAT disponibles pour la période précédente. Si aucune donnée de l’enquête CSAT n’est disponible pour la même période de temps finale par rapport à celle sélectionnée dans le filtre, l’indicateur d’une période à l’autre ne sera pas affiche.

Taux de réponse à l’enquête CSAT

Le graphique Taux de réponse à l’enquête CSAT montre le nombre d’enquêtes CSAT de fin de conversation qui ont été présentées et le pourcentage d’enquêtes terminées.

Répartition de la satisfaction client

Le graphique Répartition de la satisfaction du client montre le pourcentage de sessions satisfaites, insatisfaites ou neutres sur la période de temps sélectionnée. Le volet Statut de satisfaction du client fournit plus de détails sur les différents signaux utilisés pour déterminer le statut de satisfaction de la session.

Statut de satisfaction du client

Le graphique Statut de satisfaction du client fournit des informations clés sur les thèmes recherchés par les utilisateurs et le niveau de satisfaction des utilisateurs pour les réponses de l’agent. Les sessions avec des thèmes similaires sont regroupées. Le graphique montre le nombre de sessions pour chaque thème sur la période sélectionnée, et le pourcentage de ces sessions qui ont été satisfaites ou insatisfaites. Les sessions qui n’ont été ni satisfaites ni insatisfaites sont considérées comme des sessions neutres et n’apparaissent pas sur ce graphique.

Le thème d’une session donnée est dérivé à l’aide de modèles ML. Avant d’être envoyés au tableau de bord d’analyse, les thèmes sont traités pour supprimer toute information personnelle ou information sensible, telle que des numéros de téléphone. De plus, si les thèmes contiennent un langage grossier ou nuisible, ces thèmes sont masqués.

Pointez le curseur de la souris sur chaque segment du graphique pour voir les facteurs de satisfaction ou d’insatisfaction spécifiques. Si l’un des critères est rempli pour une session donnée, alors la session est classée comme satisfaite ou insatisfaite :

  • Une séance est considérée comme insatisfaite si :

    • L’utilisateur a attribué deux étoiles ou moins à l’enquête de fin de conversation.
    • L’utilisateur a été invité à reformuler sa requête deux fois ou plus dans la (rubrique système de secours).
    • L’utilisateur a abandonné la session.
    • L’utilisateur a transmis la session à un conseiller.
    • Le sentiment général de l’utilisateur concernant sa conversation avec l’agent est classé comme négatif. Le sentiment est déterminé à l’aide d’un modèle ML accessible au public et optimisé pour l’analyse des sentiments.
  • Une séance est considérée comme satisfaite si :

    • L’utilisateur a attribué quatre étoiles ou plus à l’enquête de fin de conversation.
    • L’utilisateur n’a pas été invité à reformuler sa requête plus d’une fois dans la (rubrique système de secours).
    • La session a été résolue.
    • Le sentiment général de l’utilisateur concernant sa conversation avec l’agent est classé comme positif.

Les sessions qui ne répondent à aucun des critères ci-dessus sont considérées comme des sessions neutres et n’apparaissent pas sur ce graphique.

Dans l’onglet Résumé de la page Analyse, vous pouvez utiliser les icônes d’informations pour en savoir plus sur les taux d’engagement, d’escalade, d’abandon et de résolution.

Extraction du sentiment sur le thème et la session

Copilot Studio utilise des techniques de traitement en langage naturel (NLP) pour extraire des thèmes et attribuer un sentiment à une session donnée de l’agent.

Pour chaque session, Copilot Studio extrait des thèmes du premier énoncé de l’utilisateur. Les sessions individuelles avec des thèmes similaires sont regroupées et apparaissent sous la forme d’un élément unique dans le graphique Statut de satisfaction du client.

Pour évaluer le sentiment de la session, le modèle NLP sous-jacent est formé sur des ensembles de données publiques en anglais. Ce processus analyse le texte de la session pour déterminer si le sentiment général est positif, négatif ou neutre. Le processus prétraite également les requêtes des utilisateurs pour supprimer les faux positifs. Par exemple, ce prétraitement garantit qu’une requête telle que « quelle est la meilleure option ? » n’est pas classée comme positive uniquement parce que le mot « meilleure » apparaît dans la requête.