클래식 챗봇 분석

분석 페이지의 요약 탭에서는 에이전트의 성과에 대한 광범위한 개요를 제공합니다. 인공 지능(AI) 기술을 사용하여 에스컬레이션 비율, 포기율 및 해결률에 가장 큰 영향을 미치는 토픽을 보여줍니다.

분석 세션은 에이전트에 대한 사용자 참여를 추적하고 에이전트가 사용자 작업을 얼마나 잘 처리하는지 파악하려고 합니다. 단일 대화에는 하나 이상의 분석 세션이 포함될 수 있습니다. 각 세션은 특정 토픽과 연결됩니다. 마지막으로 트리거된 비시스템 토픽 또는 비시스템 항목이 트리거되지 않은 경우 트리거된 첫 번째 시스템 토픽은 분석 세션과 연결됩니다.

요약 차트는 에이전트가 얼마나 잘하고 있는지 측정하고 에이전트의 성과에 가장 큰 영향을 미치는 주제를 찾는 데 도움이 됩니다. 30분 동안 활동이 없으면 세션이 시간 초과됩니다.

• 사용자가 에이전트와 상호 작용하거나 에이전트가 사용자에게 사전 메시지를 보낼 때 세션이 시작됩니다. 세션은 미참여 상태에서 시작됩니다.

• 다음 중 하나가 발생하면 세션이 참여됩니다.

  • 비시스템 토픽이 트리거되었습니다.
  • 세션이 에스컬레이션되었습니다.
  • 대체 토픽이 트리거됩니다.
  • 대화 부스팅 토픽이 트리거됩니다.

  세션이 참여하면 참여 상태가 유지됩니다. 참여 세션의 결과는 해결, 에스컬레이션 또는 취소 중 하나일 수 있습니다.

• 세션이 종료되고 에스컬레이션 토픽이 트리거되거나 에이전트로 이전 노드가 실행되면 에스컬레이션됨으로 간주됩니다. (대화가 라이브 에이전트로 전송되는지 여부에 관계없이 현재 분석 세션이 종료됩니다.)

• 다음과 같은 경우 세션이 종료되고 해결됨으로 간주됩니다.

  • 대화 종료 토픽이 트리거되고 사용자는 상호 작용이 성공했는지 확인하거나 세션 시간이 초과되도록 합니다.
  • 확인된 성공 토픽이 트리거됩니다.

• 참여 세션이 시간 초과되고 해결 또는 에스컬레이션된 상태에 도달하지 않으면 세션이 종료되고 최소됨으로 간주됩니다.

요약 탭에는 에이전트의 핵심 성과 지표에 대한 그래픽 보기가 있는 다양한 차트가 포함되어 있습니다. 이 문서의 나머지 부분에서는 각 차트에 대해 자세히 설명합니다.

요약 차트

요약 차트는 지정된 기간 및 기간별 비율 변화에 대한 핵심 성과 지표를 요약합니다.

시간 경과에 따른 참여도 차트

시간에 따른 참여도 차트는 시간에 따라 참여한 또는 참여하지 않은 세션 수를 그래픽으로 보여줍니다.

시간 경과에 따른 세션 결과 차트

시간에 따른 세션 결과 차트는 지정된 기간 동안의 일일 해결률, 에스컬레이션 비율 및 취소 비율을 그래픽으로 보여줍니다.

해결률 동인 차트

해결률 동인 차트에는 지정된 기간 동안 해결률에 영향을 주는 순서대로 토픽이 표시됩니다.

차트는 영향을 백분률로 표시합니다. 긍정적인 영향 비율이 있는 주제는 평균 해결률보다 높은 주제로, 에이전트의 전반적인 해결률을 높였습니다.

부정적인 영향 비율이 높은 주제의 해결률을 높여 에이전트의 전반적인 해결률을 더 빠르게 개선하세요.

각 토픽에 대한 추가 정보를 보려면 세부 정보 링크를 선택하여 토픽 세부 사항 페이지를 표시하십시오. 자세한 내용은 토픽 사용량 분석을 참조하십시오.

에스컬레이션 비율 동인 차트

에스컬레이션 비율 동인 차트에는 지정된 기간 동안 에스컬레이션 비율에 영향을 주는 순서대로 토픽이 표시됩니다.

차트는 영향을 백분률로 표시합니다. 긍정적인 영향 비율이 있는 주제는 에스컬레이션 속도가 평균보다 높은 주제로, 에이전트의 전반적인 에스컬레이션 속도가 증가했습니다.

영향 비율이 높은 주제의 에스컬레이션 속도를 낮추면 에이전트의 에스컬레이션 속도를 더 빠르게 줄일 수 있습니다.

각 토픽에 대한 추가 정보를 보려면 세부 정보 링크를 선택하여 토픽 세부 사항 페이지를 표시하십시오. 자세한 내용은 토픽 사용량 분석을 참조하십시오.

취소 비율 동인 차트

취소 비율 동인 차트에는 지정된 기간 동안 취소 비율에 영향을 주는 순서대로 토픽이 표시됩니다.

차트는 영향을 백분률로 표시합니다. 긍정적인 영향 비율이 있는 주제는 평균 이상의 포기율을 가진 주제로, 에이전트의 전반적인 포기율을 높였습니다.

영향 비율이 높은 주제의 포기율을 낮추면 에이전트의 포기율을 더 빠르게 줄일 수 있습니다.

각 토픽에 대한 추가 정보를 보려면 세부 정보 링크를 선택하여 토픽 세부 사항 페이지를 표시하십시오. 자세한 내용은 토픽 사용량 분석을 참조하십시오.

에이전트의 고객 만족도 메트릭 분석

애널리틱스 페이지의 고객 만족도 탭 에서는 평균 CSAT 점수, 기본 사용자 쿼리 테마, 에이전트 응답의 만족도 또는 불만족 요인에 대한 실행 가능한 인사이트를 포함하여 고객 만족도(CSAT) 설문조사 데이터에 대한 자세한 보기를 제공합니다.

기본적으로 이 페이지에는 지난 7일 동안의 핵심 성과 지표가 표시됩니다. 기간을 변경하려면 페이지 상단의 날짜 선택기를 사용하세요. 지난 45일 이내의 모든 기간에 대한 데이터를 검색할 수 있습니다.

고객 만족도 점수

고객 만족도 점수 차트는 고객이 설문 조사에 참여하기 위해 대화 종료 요청에 응답한 세션의 평균 CSAT 점수를 그래픽으로 보여줍니다. CSAT 설문 조사에서는 고객에게 자신의 경험을 1~5점 척도로 평가하도록 요청합니다. 고객이 동일한 세션에서 두 개 이상의 설문 조사에 응답하는 경우 가장 최근의 설문 조사만 사용됩니다.

이 차트는 기간별 변화 지표도 제공합니다. 예를 들어, 3일 기간을 선택하면 표시기는 선택한 기간 전 3일을 기준으로 비율 변화를 표시합니다. 기간 대비 지표는 에이전트에 이전 기간에 사용할 수 있는 CSAT 설문조사 데이터가 있는 경우에만 나타납니다. 필터에서 선택한 항목과 관련하여 동일한 후행 기간에 대해 사용 가능한 CSAT 설문 조사 데이터가 없는 경우 기간별 지표가 표시되지 않습니다.

CSAT 설문 응답 비율

CSAT 설문 조사 응답율 차트는 제시된 대화 종료 CSAT 설문 조사 건수와 완료된 설문 조사 비율을 보여줍니다.

고객 만족도 분석

고객 만족도 분석 차트는 선택한 기간 동안 만족, 불만족 또는 중립이었던 세션의 비율을 보여줍니다. 고객 만족도 상태 창에서는 세션 만족도 상태를 결정하는 데 사용되는 다양한 신호에 대한 자세한 내용을 제공합니다.

고객 만족도 상태

고객 만족도 상태 차트는 사용자가 검색하는 테마와 에이전트의 응답에 대한 사용자의 만족도에 대한 주요 인사이트를 제공합니다. 비슷한 테마의 세션은 그룹화됩니다. 차트에는 선택한 기간 동안 각 테마에 대한 세션 수와 이러한 세션 중 만족 또는 불만족한 비율이 표시됩니다. 만족하지 않았던 세션과 불만족하지 않은 세션은 중립 세션으로 간주되며 이 차트에 표시되지 않습니다.

특정 세션의 주제는 ML 모델을 사용하여 파생됩니다. 분석 대시보드로 전송되기 전에 테마는 개인 데이터 또는 전화 번호와 같은 중요한 정보를 제거하기 위해 처리됩니다. 또한 테마에 욕설이나 유해한 언어가 포함된 경우 해당 테마는 가려집니다.

특정 만족도 또는 불만족 요인을 보려면 차트의 각 세그먼트 위로 마우스를 가져가세요. 특정 세션에 대해 기준 중 하나라도 해당되면 세션은 만족 또는 불만족으로 분류됩니다.

• 다음과 같은 경우 세션이 불만족된 것으로 간주됩니다.

  • 사용자는 대화 종료 설문 조사에서 별 2개 이하를 주었습니다.
  • 사용자는 (시스템 대체 토픽)에서 쿼리를 두 번 이상 바꿔 달라는 요청을 받았습니다.
  • 사용자가 세션을 중단했습니다.
  • 사용자가 세션을 라이브 에이전트에게 에스컬레이션했습니다.
  • 에이전트와의 대화에 대한 사용자의 전반적인 감정은 부정적으로 분류됩니다. 감정은 감정 분석을 위해 미세 조정된 공개적으로 사용 가능한 ML 모델을 사용하여 결정됩니다.

• 다음과 같은 경우 세션이 만족된 것으로 간주됩니다.

  • 사용자는 대화 종료 설문 조사에서 별 4개 이상을 주었습니다.
  • 사용자는 (시스템 대체 토픽)에서 쿼리를 두 번 이상 바꿔 달라는 요청을 받지 않았습니다.
  • 세션이 해결되었습니다.
  • 에이전트와의 대화에 대한 사용자의 전반적인 감정은 긍정적으로 분류됩니다.

위 기준 중 어느 하나도 충족하지 않는 세션은 중립 세션으로 간주되어 이 차트에 표시되지 않습니다.

분석 페이지의 요약 탭에서 정보 아이콘을 사용하여 참여, 에스컬레이션, 포기 및 해결 비율에 대해 자세히 알아볼 수 있습니다.

테마 및 세션 감정 추출

Copilot Studio 자연어 처리(NLP) 기술을 사용하여 테마를 추출하고 지정된 에이전트 세션에 감정을 할당합니다.

모든 세션에 대해 Copilot Studio는 첫 번째 사용자 발화에서 테마를 추출합니다. 유사한 주제의 개별 세션이 집계되어 고객 만족도 상태 차트에 단일 항목으로 표시됩니다.

세션 감정을 평가하기 위해 기본 NLP 모델은 공용 영어 데이터 세트에서 훈련됩니다. 이 프로세스는 세션의 텍스트를 분석하여 전반적인 감정이 긍정적인지, 부정적인지, 중립적인지 확인합니다. 또한 이 프로세스는 가양성을 제거하기 위해 사용자 쿼리를 전처리합니다. 예를 들어, 이 전처리는 "가장 좋은 옵션은 무엇입니까?"와 같은 쿼리를 보장합니다. 쿼리에 "가장 좋은"이라는 단어가 나타난다는 이유만으로 긍정적인 것으로 분류되지는 않습니다.