従来の チャットボット 分析
重要
この記事では、従来の チャットボット 分析エクスペリエンスで使用できるメトリックとデータについて説明します。 既定では、Copilot Studio は 最新のエージェントの分析 を使用します。 従来の チャットボット 分析は、ご要望に応じてご利用いただけます。 テクニカル サポートに連絡して 要求を送信します。
分析 ページの 概要 タブでは、エージェントのパフォーマンスについての大まかな概要が示されます。 人工知能 (AI) テクノロジを使用して、エスカレーション率、離脱率および解決率に最も影響をもたらすトピックが表示されます。
分析セッションでは、ユーザーとエージェント間のやりとりを追跡し、エージェントがユーザーのタスクをどの程度うまく処理しているかを把握しようとします。 1 つの会話には、1 つ以上の分析セッションを含めることができます。 各セッションは、特定のトピックに関連付けられています。 最後にトリガーされたシステム以外のトピック—またはシステム以外のトピックがトリガーされなかった場合は、最初にトリガーされたシステム トピック—が分析セッションに関連付けられます。
概要グラフは、エージェントの作業状況を測定し、エージェントのパフォーマンスに最も影響するトピックを見つけるのに役立ちます。 セッションは、30 分間非アクティブになるとタイムアウトします。
セッションは、ユーザーがエージェントと対話するか、エージェントがユーザーにプロアクティブメッセージを送信したときに開始されます。 セッションは 従事していない 状態で始まります。
セッションは、次のいずれかが発生した場合、従事状態になります。
- 非システム トピックがトリガーされます
- セッションはエスカレーション済みです
- フォールバック トピック がトリガーされます
- 会話ブースティング トピック がトリガーされます
セッションが従事の状態になると、その状態は継続されます。 従事するセッションの結果は、解決、エスカレーション、または破棄のいずれかになります。
セッションは、エスカレート トピックがトリガーされるか、エージェントに転送 ノードが実行されると終了し、エスカレーション されたとみなされます。 (会話がライブ エージェントに転送されるかどうかにかかわらず、現在の分析セッションは終了します。)
次のいずれかの場合、セッションは終了し、解決済み と見なされます:
- 会話の終了 トピックがトリガーされ、ユーザーは対話が成功したことを確認するか、セッションをタイムアウトさせます。
- 確認された成功 トピックがトリガーされます。
従事セッションがタイムアウトし、解決済みまたはエスカレーションの状態に達しなかった場合、セッションは終了し、破棄 と見なされます。
概要タブには、エージェントの主要業績評価指標をグラフィカルに表示するさまざまなグラフが含まれています。 この記事の残りの部分では、各グラフについて詳しく説明します。
チップ
- 既定では、このページには、過去 7 日間の主要業績評価指標が表示されます。 期間を変更するには、ページの上部にある日付コントロールを使用します。
- Dataverse のクラシック チャットボット分析の会話トランスクリプトは分析セッション開始から約 6 時間後に利用可能になります。
概要グラフ
概要グラフには、指定した期間の主要業績評価指標とその期間中の変化率がまとめられています。
| 内容 | 詳細 |
|---|---|
| セッションの合計数 | 指定された期間内のセッションの合計数。 |
| エンゲージメント率 | エンゲージになった全セッションの割合。 |
| 解決率 | 解決された従事セッションの割合。 |
| エスカレーション率 | エスカレートされた従事セッションの割合。 |
| 破棄率 | 破棄された従事セッションの割合。 |
| CSAT | 顧客がセッション終了時のアンケート依頼に応じたセッションの顧客満足度 (CSAT) の平均スコアを示すグラフィカル表示。 |
時間経過に伴うエンゲージメントのグラフ
一定期間のエンゲージメント のグラフでは、従事セッションと非従事セッションの数の推移をグラフで表示します。
| 内容 | 詳細 |
|---|---|
| 従事 | 従事セッションの 1 日あたりの数。 |
| 未従事 | 未従事セッションの 1 日あたりの数。 |
時間経過に伴うセッションの結果
一定期間のセッション結果 のグラフは、指定された期間の日ごとの解決率、エスカレーション率、および破棄率をグラフで表示します。
| 内容 | 詳細 |
|---|---|
| 解決 | 日単位での解決されたセッションの率。 |
| エスカレーション済み | 日単位でのエスカレートされたセッションの率。 |
| 破棄済み | 日単位での破棄されたセッションの率。 |
解決率の要因グラフ
解決率の要因 グラフは、指定された期間の解決率への影響の順にトピックを表示します。
| 内容 | 詳細 |
|---|---|
| トピック | Copilot Studio トピック。 |
| レート | 解決されたトピックの従事セッションの割合。 |
| 影響 | トピックの解決率影響スコア。 解決率影響スコアは、トピックを含む全体の解決率からトピックを除いた全体の解決率を引いたものです。 |
グラフには影響度がパーセンテージで表示されます。 プラスの影響率を持つトピックは、平均よりも解決率が高いトピックであり、エージェントの全体的な解決率が向上しています。
ネガティブな影響の割合が高いトピックの解決率を上げて、エージェントの全体的な解決率をより迅速に向上させます。
各トピックに関する追加情報を表示するには、詳細リンクを選択してトピック詳細ページを表示します。 詳細については、トピック利用状況の分析を参照してください。
エスカレーション率の要因グラフ
エスカレーション率の要因 グラフは、指定された期間におけるエスカレーション率への影響の順にトピックを表示します。
| 内容 | 詳細 |
|---|---|
| トピック | Copilot Studio トピック。 |
| レート | エスカレートされたトピックの従事セッションの割合。 |
| 影響 | トピックのエスカレーション率影響スコア。 エスカレーション率影響スコアは、トピックを含む全体のエスカレーション率からトピックを除いた全体のエスカレーション率を引いたものです。 |
グラフには影響度がパーセンテージで表示されます。 プラスの影響率を持つトピックは、平均よりもエスカレーション率が高いトピックであり、エージェントの全体的なエスカレーション率を高めることができます。
影響度の高いトピックのエスカレーション率を下げて、エージェントのエスカレーション率をより迅速に下げます。
各トピックに関する追加情報を表示するには、詳細リンクを選択してトピック詳細ページを表示します。 詳細については、トピック利用状況の分析を参照してください。
破棄率の要因グラフ
破棄率の要因 グラフは、指定された期間における破棄率への影響の順にトピックを表示します。
| 内容 | 詳細 |
|---|---|
| トピック | Copilot Studio トピック。 |
| レート | 破棄されたトピックの従事セッションの割合。 |
| 影響 | トピックの破棄率影響スコア。 破棄率影響スコアは、トピックを含む全体の破棄率からトピックを除いた全体の破棄率を引いたものです。 |
グラフには影響度がパーセンテージで表示されます。 プラスの影響率を持つトピックは、平均よりも破棄率が高いトピックであり、エージェントの全体的な破棄率を高めることができます。
影響率の高いトピックの放棄率を下げて、エージェントの放棄率をより迅速に下げます。
各トピックに関する追加情報を表示するには、詳細リンクを選択してトピック詳細ページを表示します。 詳細については、トピック利用状況の分析を参照してください。
独自のエージェントの顧客満足度指標を分析する
分析ページの顧客満足度タブでは、顧客満足度 (CSAT) 調査データの詳細なビューを提供します。これには、CSAT の平均スコア、ユーザーからの主な問い合わせテーマ、エージェントの対応に対する満足度や不満足の要因に関する実用的な分析情報が含まれます。
既定では、このページには、過去 7 日間の主要業績評価指標が表示されます。 期間を変更するには、ページ上部の日付ピッカーを使用します。 過去 45 日間の任意の期間のデータを取得できます。
顧客満足度指標
顧客満足度スコア チャートは、顧客が 会話終了時 のアンケート依頼に応じたセッションの CSAT の平均スコアを示すグラフィカル表示を提供します。 CSAT 調査では、顧客に 1 から 5 のスケールで体験を評価するよう求めます。 顧客が同じセッションで複数のアンケートに回答した場合は、最新のアンケートのみが使用されます。
このチャートには、前期比の変化を示す指標も表示されます。 たとえば、3 日間の期間を選択すると、インジケーターには、選択した期間の前の 3 日間と比較したパーセンテージの変化が表示されます。 前期比インジケーターは、エージェントに前期の CSAT 調査データがある場合にのみ表示されます。 フィルターで選択された期間と同じ期間の CSAT 調査データがない場合、期間ごとのインジケーターは表示されません。
CSAT 調査回答率
CSAT 調査回答率 グラフは、提示された会話終了時の CSAT 調査の数と完了した調査の割合を示します。
顧客満足度内訳
顧客満足度の内訳 グラフには、選択した期間内に満足、不満足、または中立だったセッションの割合が表示されます。 顧客満足度ステータスパネル は、セッション満足度ステータスを判断する際に使用できるさまざまなシグナルの詳細を提供します。
顧客満足度の状態
顧客満足度ステータス グラフは、ユーザーが検索したテーマに関する重要な分析情報と、エージェントの回答に関するユーザーの満足度を提供します。 類似テーマのセッションは一緒にグループ化されます。 グラフには、選択した期間中の各テーマのセッション数と、満足または不満足だったセッションの割合が表示されます。 満足でも不満足でもないセッションは中立セッションとみなされ、このグラフには表示されません。
特定のセッションのテーマは、ML モデルを使用して導出されます。 テーマは分析ダッシュボードに送信される前に、個人情報や電話番号などの機密情報を削除する処理が行われます。 さらに、テーマに卑猥な言葉や有害な言葉が含まれている場合、これらのテーマはマスクされます。
グラフの各セグメントにマウスを合わせると、満足度や不満足度の具体的な要因が表示されます。 特定のセッションでいずれかの基準が当てはまる場合、そのセッションは満足または不満足に分類されます。
セッションは 不満 もし:
- ユーザーは 会話の終わり 調査で 2 つ星以下を付けました。
- ユーザーは、(システムフォールバック トピック) の 2 回以上のクエリを言い換えるように要求されました。
- セッションを終了したユーザー。
- ユーザーはセッションをライブエージェントにエスカレーションしました。
- エージェントとの会話に関するユーザーの全体的な感情は、否定的に分類されます。 感情は、感情分析用に微調整された公開 ML モデルを使用して決定されます。
セッションは 満足 と考えられます。もし:
- ユーザーは 会話の終わり 調査で 4 つ星以下を付けました。
- ユーザーは、(システムフォールバック トピック) の 1 回以上のクエリを言い換えるように要求されませんでした。
- このセッションは解決済みでした。
- エージェントとの会話に関するユーザーの全体的なセンチメントは、肯定的に分類されます。
上記の基準のいずれにも該当しないセッションは中立セッションとみなされ、このグラフには表示されません。
分析 ページの 概要タブ では、情報アイコンを使用して、エンゲージメント、エスカレーション、放棄、解決率の詳細を確認できます。
テーマとセッションの感情抽出
Copilot Studio では、自然言語処理 (NLP) 技術を使用してテーマを抽出し、特定の エージェント セッションにセンチメントを割り当てます。
すべてのセッションで、Copilot Studio は、最初のユーザーの発話からテーマを抽出します。 同様のテーマを持つ個々のセッションは集約され、顧客満足度ステータス チャートに 1 つの項目として表示されます。
セッションの感情を評価するために、基礎となる NLP モデルは公開されている英語のデータセットでトレーニングされます。 このプロセスでは、セッションのテキストを分析し、全体的なセンチメントが肯定的か、否定的か、中立的かを判断します。 また、このプロセスでは、ユーザーからのクエリを前処理して誤検出を除去します。 たとえば、この前処理により、"最適なオプションは何ですか?" などのクエリが、クエリに "最適" という単語が含まれているという理由だけで肯定的であると分類されることがなくなります。