分享方式:


傳統聊天機器人分析

重要

本文介紹了傳統聊天機器人分析體驗可用的指標和資料。 預設情況下,Copilot Studio 會使用新式代理程式的分析。 傳統的聊天機器人分析可根據要求提供。 透過聯絡技術支援提交請求。

分析頁面的摘要索引標籤為您提供了代理程式效能的總體概觀。 它使用人工智慧 (AI) 技術來顯示哪些主題對上呈率、放棄率和解決率影響最大。

分析工作階段追蹤使用者與代理程式的互動情況,並嘗試捕捉代理程式處理使用者工作的情況。 單一交談可以包含一個或多個分析工作階段。 每個工作階段都會與特定主題相關聯。 觸發的最後一個非系統主題 (如果未觸發任何非系統主題,則為觸發的第一個系統主題) 會與分析工作階段相關聯。

摘要圖表可以衡量您的代理程式的表現,並幫助您找到對代理程式表現影響最大的主題。 工作階段會在處於非使用狀態 30 分鐘後逾時。

  • 當使用者與您的代理程式互動或代理程式向使用者發送主動訊息時,工作階段就開始了。 工作階段會在未參與狀態下開始。

  • 當發生以下情況之一時,工作階段將變為參與狀態:

    • 非系統主題已觸發
    • 工作階段已上呈
    • 後援主題已觸發
    • 交談提升主題已觸發

    工作階段一旦參與,就會保持參與狀態。 參與工作階段可能會產生以下其中一個結果:已結案已升級已放棄

  • 觸發上呈主題,或執行轉接專員節點時,工作階段會結束並視為已上呈。 (無論交談是否轉移至即時助理,目前的分析工作階段都會結束)。

  • 發生下列任一情況時,工作階段會結束並視為已解決

    • 觸發結束交談主題,而且使用者確認互動已成功,或讓工作階段逾時。
    • 觸發已確認成功主題。
  • 已參與的工作階段逾時,且未達已解決或已上呈狀態時,工作階段會結束並視為已放棄

摘要標籤包含各種圖表,以圖形檢視顯示代理程式的關鍵效能指標。 本文的其餘部分會更詳細地說明每個圖表。

提示

  • 根據預設,頁面會顯示最近七天的關鍵效能指標。 若要變更時段,請使用頁面頂端的日期控制項。
  • Dataverse 中傳統聊天機器人分析的交談記錄在分析工作階段開始後大約六小時可用。

摘要圖表

摘要圖表。

摘要圖表彙總指定時段的關鍵效能指標以及該時段內的變更百分比。

描述 詳細資料
工作階段總計 指定時段中的工作階段總數。
參與率 工作階段總數中變成已參與狀態的百分比。
結案率 已參與工作階段中已解決的百分比。
升級率 已參與工作階段中已上呈的百分比。
放棄率 已參與工作階段中已放棄的百分比。
CSAT 客戶回覆工作階段結束要求以進行問卷調查之工作階段的客戶滿意度 (CSAT) 平均分數圖形檢視表。

隨時間參與圖表

一段時間內的參與圖表提供一段時間內已參與和未參與工作階段的數目圖形化檢視。

描述 Details
已參與 每日參與工作階段的數目。
未參與 每日未參與工作階段的數目。

隨時間的工作階段結果圖表

一段時間內的工作階段結果圖表提供指定時段中每日結案率、上呈率和放棄率的圖形化檢視。

描述 Details
已解決 每日已結案的工作階段率。
已上呈 每日升級的工作階段率。
已放棄 每日已放棄的工作階段率。

結案率驅策因素圖表

結案率驅策因素圖表依照主題在指定時段內對結案率的影響順序顯示主題。

描述 詳細資料
主題 Copilot Studio 主題。
費率 已參與工作階段中主題已獲解決的百分比。
影響 主題的結案率影響分數。 結案率影響分數是包括主題的整體結案率,減去排除主題的整體結案率。

圖表會將影響顯示為百分比。 具有正影響百分比的主題是具有高於平均解決率的主題 - 它們提高了代理程式的整體解決率。

提高負面影響百分比較高的主題的解決率,以更快地提高代理程式的整體解決率。

若要查看有關每個主題的其他資訊,請選取詳細資料連結以顯示主題詳細資料頁面。 如需更多資訊,請參閱分析主題使用方式

升級率驅策因素圖表

上呈率驅策因素圖表依照指定時段內對上呈率影響的順序顯示主題。

描述 詳細資料
主題 Copilot Studio 主題。
費率 已參與工作階段中主題已獲上呈的百分比。
影響 主題的升級率影響分數。 升級率影響分數是包括主題的整體升級率,減去排除主題的整體升級率。

圖表會將影響顯示為百分比。 具有正影響百分比的主題是升級率高於平均水準的主題 - 它們增加了代理程式的總體升級率。

降低影響百分比高的主題的升級率,以更快地降低代理程式的升級率。

若要查看有關每個主題的其他資訊,請選取詳細資料連結以顯示主題詳細資料頁面。 如需更多資訊,請參閱分析主題使用方式

放棄率驅策因素圖表

放棄率驅策因素圖表依照指定時段內對放棄率影響的順序顯示主題。

描述 詳細資料
主題 Copilot Studio 主題。
費率 已參與工作階段中主題已遭放棄的百分比。
影響 主題的放棄率影響分數。 放棄率影響分數是包括主題的整體放棄率,減去排除主題的整體放棄率。

圖表會將影響顯示為百分比。 具有正影響百分比的主題是放棄率高於平均水準的主題——它們增加了代理程式的總體放棄率。

降低影響率較高的主題的放棄率,以更快降低代理程式的放棄率。

若要查看有關每個主題的其他資訊,請選取詳細資料連結以顯示主題詳細資料頁面。 如需更多資訊,請參閱分析主題使用方式

分析代理程式的客戶滿意度指標

分析頁面的客戶滿意度標籤提供了客戶滿意度(CSAT) 調查資料的詳細檢視,包括平均CSAT 分數、主要使用者查詢主題以及對代理程式回應的滿意度或不滿意驅動因素的可操作見解。

此頁面預設會顯示最近七天的關鍵效能指標。 若要變更時間段,請使用頁面頂部的日期選擇器。 您可以擷取過去 45 天內任何期間的資料。

客戶滿意度頁面。

客戶滿意度分數

客戶滿意度分數圖表提供了客戶回覆對話結束要求,以進行問卷調查之工作階段的 CSAT 平均得分的圖形檢視。 CSAT 問卷要求客戶以 1 到 5 的等級對他們的體驗進行評分。 如果客戶在同一工作階段中回覆了多項調查,則僅使用最新的調查。

此圖表還提供同期變化指標。 例如,當您選擇三天期間時,指標會顯示相對於所選時間段之前三天的百分比變化。 只有當您的代理程式具有上一時期的 CSAT 調查資料時,才會出現同期指標。 如果相對於篩選器中所選內容的相同追蹤時間段內沒有可用的 CSAT 問卷資料,則不會顯示同期指標。

CSAT 問卷回覆率

CSAT 問卷回覆率圖表會顯示已提交的對話結束 CSAT 問卷數,以及已完成問卷的百分比。

客戶滿意度解析

客戶滿意度細分圖表顯示所選時間段內滿意、不滿意或中立的工作階段百分比。 客戶滿意狀態窗格提供有關用於確定工作階段滿意度狀態的各種訊號的更多詳細資訊。

客戶滿意度狀態

客戶滿意度狀態圖表提供了有關使用者搜尋主題的關鍵見解以及使用者對代理程式回應的滿意度。 具有相似主題的工作階段會分成一組。 此圖表顯示了所選時間段內每個主題的工作階段數,以及這些工作階段滿意或不滿意的百分比。 既沒有滿意也沒有不滿意的工作階段會視為中性工作階段,不會顯示在此圖表中。

指定工作階段的主題是使用 ML 模型得出的。 在發送到分析儀錶板之前,將處理主題以刪除任何個人資料或敏感資訊,例如電話號碼。 此外,如果主題包含褻瀆或有害語言,這些主題將被遮罩。

若要查看具體的滿意度或不滿意驅動因素,請將滑鼠停留在圖表的各個區段上。 如果某個指定工作階段滿足任何條件,則該會將工作階段分類為滿意或不滿意:

  • 在以下情況下,會將工作階段視為不滿意

    • 使用者在進行對話結束問卷調查時,給出了兩顆或更少的星星。
    • 要求使用者在 (系統後援主題) 中兩次或兩次以上改寫其查詢。
    • 使用者放棄了工作階段。
    • 使用者將工作階段上呈到真人專員。
    • 使用者對與代理程式的交談的整體情緒被歸類為負面。 情緒是使用針對情緒分析進行微調的公開可用的 ML 模型來確定的。
  • 在以下情況下,會將工作階段視為滿意

    • 使用者在進行對話結束問卷調查時,給出了四顆或更多的星星。
    • 未要求使用者在 (系統後援主題) 中改寫其查詢超過一次。
    • 工作階段已解決。
    • 使用者對與代理程式的交談的整體情緒被歸類為正面。

不符合上述任何條件的工作階段都會視為中性工作階段,不會顯示在此圖表中。

分析頁面的摘要索引標籤上,可以使用 [資訊] 圖示了解有關參與率、上呈率、放棄率和解決率的詳細資訊。

主題和工作階段情緒提取

Copilot Studio 使用自然語言處理 (NLP) 技術來提取主題並將情緒分配給指定的代理程式工作階段。

對於每個工作階段,Copilot Studio 都從第一個使用者話語中提取主題。 具有相似主題的各個工作階段將匯總,並在客戶滿意度狀態圖表上顯示為單一項目。

為了評估工作階段情緒,基礎 NLP 模型在公共英文語言資料集上進行訓練。 此過程分析工作階段的文字,以確定整體情緒是積極、消極還是中性。 該過程還預處理使用者查詢以消除誤報。 例如,此預先處理可確保諸如「什麼是最佳選擇」之類的查詢不會僅僅因為查詢中出現「最佳」一詞而被歸類為正面。