经典聊天机器人分析

重要提示

本文介绍可用于经典聊天机器人分析体验的指标和数据。 默认情况下,Copilot Studio 使用分析用于现代代理。 经典聊天机器人分析可根据要求提供。 通过联系技术支持提交请求。

分析页面上的摘要选项卡为您提供代理性能的各种概要信息。 它使用人工智能 (AI) 技术向您显示哪些主题对呈报率、放弃率和解决率的影响最大。

分析会话会跟踪用户与您的代理的互动,并尝试捕捉您的代理处理用户任务的程度。 一个对话可以包含一个或多个分析会话。 每个会话都与特定的主题相关联。 最后一个触发的非系统主题或第一个触发的系统主题(如果未触发非系统主题)与分析会话关联。

摘要图表可衡量代理的表现,并帮助您找到对代理绩效影响最大的主题。 会话将在 30 分钟不活动后超时。

  • 当用户与您的代理交互或代理向用户发送主动消息时,会话将启动。 会话以未参与状态开始。

  • 出现以下情况之一时,会话将变为参与

    • 触发了非系统主题
    • 会话已升级
    • 回退主题被触发
    • 会话推进话题被触发

    会话开始进行后,就会保持参与状态。 参与会话将产生以下三种结果之一:已解决已升级已放弃

  • 当触发升级主题或运行转移到代理节点时,会话结束,被视为已升级。 (当前分析会话将结束,无论对话是否转移到人工代理。)

  • 会话会在以下任一情况下结束,被视为已解决

    • 触发对话结束主题,用户确认交互成功或让会话超时。
    • 触发确认成功主题。
  • 当参与的会话超时且未达到已解决或已升级状态时,会话将结束,被视为已放弃

“摘要”选项卡中有大量图表,这些图表中包含代理的关键绩效指标的图形视图。 本文的其余部分更详细地介绍了每个图表。

小费

  • 默认情况下,此页显示最近七天的关键绩效指标。 要更改时间段,使用页面顶部的 date 控件。
  • Dataverse 中经典聊天机器人分析的对话记录会在分析会话开始后大约六小时提供。

摘要图表

摘要图表。

摘要图表汇总了指定时间段的关键绩效指标,以及该时间段的百分比更改。

描述 详细信息
会话总数 指定时间段的会话总数。
参与率 进入参与状态的会话总数所占的百分比。
解决率 已解决的参与会话所占百分比。
升级率 已升级的参与会话所占百分比。
放弃率 已放弃的参与会话所占百分比。
CSAT 会话的平均客户满意度 (CSAT) 分数的图形视图,客户在其中响应会话结束请求以进行调查。

“一段时间的参与”图表

一段时间的参与图表提供一段时间的参与会话和未参与会话的数量的图形视图。

说明 详情
参与 每日的参与会话数量。
未参与 每日的未参与会话数量。

“一段时间的会话结果”图表

一段时间的会话结果图表提供指定的时间段内每日解决率、升级率和放弃率的图形视图。

说明 详情
已解决 每日的已解决会话率。
已升级 每日的已升级会话率。
已弃用 每日的已放弃会话率。

“解决率驱动因素”图表

解决率驱动因素图表按指定的时间段内对解决率的影响顺序显示主题。

描述 详细信息
主题 Copilot Studio 主题。
费率 主题的已解决参与会话所占百分比。
影响 主题的解决率影响分数。 解决率影响分数是包含主题的总体解决率减去不含主题的总体解决率的结果。

此图表将影响显示为百分比。 具有积极影响百分比的主题是解决率高于平均水平的主题,它们提高了代理的整体解决率。

提高负面影响百分比高的主题的解决率,以更快地提高代理的整体解决率。

若要查看有关各主题的更多信息,请选择详细信息链接显示主题详细信息页。 有关更多信息,请参阅分析主题使用情况

“升级率驱动因素”图表

升级率驱动因素图表按指定的时间段内对升级率的影响顺序显示主题。

描述 详细信息
主题 Copilot Studio 主题。
费率 主题的已升级参与会话所占百分比。
影响 主题的升级率影响分数。 升级率影响分数是包含主题的总体升级率减去不含主题的总体升级率的结果。

此图表将影响显示为百分比。 具有积极影响百分比的主题是升级率高于平均的主题 - 它们提高了代理的整体升级率。

降低影响百分比高的主题的升级率,以更快地降低代理的升级率。

若要查看有关各主题的更多信息,请选择详细信息链接显示主题详细信息页。 有关更多信息,请参阅分析主题使用情况

“放弃率驱动因素”图表

放弃率驱动因素图表按指定的时间段内对放弃率的影响顺序显示主题。

描述 详细信息
主题 Copilot Studio 主题。
费率 主题的已放弃参与会话所占百分比。
影响 主题的放弃率影响分数。 放弃率影响分数是包含主题的总体放弃率减去不含主题的总体放弃率的结果。

此图表将影响显示为百分比。 具有积极影响百分比的主题是放弃率高于平均水平的主题,它们提高了代理的整体放弃率。

降低影响百分比高的主题的放弃率,以更快地降低代理的放弃率。

若要查看有关各主题的更多信息,请选择详细信息链接显示主题详细信息页。 有关更多信息,请参阅分析主题使用情况

分析您的代理的客户满意度指标

分析页面的客户满意度选项卡提供客户满意度(CSAT)调查数据的详细视图,包括平均 CSAT 分数、主要用户查询主题以及有关对代理响应的满意或不满意驱动因素的可操作见解。

默认情况下,此页显示最近七天的关键绩效指标。 要更改时间段,请使用页面顶部的日期选择器。 您可以检索最近 45 天内任何时间段的数据。

客户满意度页面。

客户满意度分数

客户满意度评分图表以图形方式显示了客户响应对话结束请求,以参加调查的会话的平均 CSAT 分数。 CSAT 调查要求客户对其体验按 1 到 5 的范围进行评分。 如果客户在同一会话中响应多个调查,则仅使用最近的调查。

此图表还提供一个不同时期的变化指标。 例如,当您选择三天期间时,指示器会显示相对于所选时期前三天的百分比变化。 仅当您的代理具有上一期间的 CSAT 调查数据时,才会显示同期指标。 如果相对于在过滤器中选择的时间段,在相同的试用期内没有可用的 CSAT 调查数据,则不会显示相邻两个时期的指示器。

CSAT 调查响应率

CSAT 调查回复率图表显示了提交的对话结束 CSAT 调查的数量以及完成调查的百分比。

客户满意度分解

客户满意度细分显示了在所选时间段内满意、不满意或中立的会话的百分比。 客户满意度状态窗格提供了用于确定会话满意度状态的各种信号的更多详细信息。

客户满意度状态

客户满意度状态图表提供有关用户搜索的主题的关键见解,以及用户对代理响应的满意度。 具有相似主题的会话被分为一组。 该图表显示了所选期间每个主题的会话数量,以及满意或不满意会话的百分比。 既非满意也非不满意的会话被视为中立会话,不会出现在此图表中。

给定会话的主题是使用 ML 模型派生的。 在发送到分析仪表板之前,主题将经过处理,以删除任何个人数据或敏感信息,如电话号码。 此外,如果主题包含亵渎或有害的语言,这些主题将被屏蔽。

将鼠标悬停在图表的每个部分上,查看具体的满意度或不满意度驱动因素。 如果给定会话的任何标准为真,则该会话被分类为满意或不满意:

  • 如果满足以下条件,会话将被视为不满意

    • 对话结束调查中,用户给出了两星或更低的评价。
    • 在(系统回退主题)中,用户需要两次或两次以上重新表述其查询。
    • 用户放弃了会话。
    • 用户将会话升级到人工代理。
    • 用户对他们与代理对话的总体情绪被归类为负面。 使用为情绪分析而微调的公开可用 ML 模型来确定情绪。
  • 如果满足以下条件,会话将被视为满意

    • 对话结束调查中,用户给出了四颗星或更高的分数。
    • 在(系统回退主题)中,用户无需多次重新表述他们的查询。
    • 会话已解决。
    • 用户对与代理对话的整体情绪被归类为积极。

不符合上述任何标准的会话被视为中性会话,不会出现在此图表中。

分析页面的摘要选项卡上,您可以使用信息图标了解有关参与、升级、放弃和解决率的更多信息。

主题和会话情绪提取

Copilot Studio 使用自然语言处理(NLP)技术提取主题并将情绪分配给给定的代理会话。

对于每个会话,Copilot Studio 从第一个用户话语中提取主题。 主题相似的单个会话将汇总在一起,并在客户满意度状态图表中显示为一个项目。

为了评估会话情绪,在公共英语数据集上训练底层 NLP 模型。 该过程将分析会话文本,以确定总体情绪是积极、消极还是中立。 该过程还会预处理用户查询以移除误报。 例如,这种预处理确保诸如“什么是最佳选项?”不会仅仅因为“最佳”一词出现在查询中就被归类为积极。