Analisis chatbot klasik
Penting
Artikel ini menjelaskan metrik dan data yang tersedia untuk pengalaman analitik chatbot klasik. Secara default, Copilot Studio menggunakan analitik untuk agen modern. Analisis chatbot klasik tersedia berdasarkan permintaan. Kirimkan permintaan dengan menghubungi dukungan teknis.
Tab Ringkasan pada halaman Analisis memberi Anda gambaran umum yang luas mengenai kinerja agen Anda. Aplikasi ini menggunakan teknologi kecerdasan buatan (AI) untuk menunjukkan kepada Anda topik mana yang memiliki pengaruh terbesar pada tingkat eskalasi, tingkat pengabaian, dan tingkat penyelesaian.
Sesi analitik melacak keterlibatan pengguna dengan agen Anda dan mencoba menangkap seberapa baik agen Anda menangani tugas pengguna. Percakapan tunggal dapat berisi satu atau lebih sesi analitik. Setiap sesi dikaitkan dengan topik tertentu. Topik non-sistem terakhir yang dipicu—atau topik sistem pertama yang dipicu, jika tidak ada topik non-sistem yang dipicu—dikaitkan dengan sesi analitik.
Bagan ringkasan mengukur seberapa baik kinerja agen Anda dan membantu Anda menemukan topik yang paling memengaruhi kinerja agen Anda. Sesi akan berakhir setelah 30 menit tidak aktif.
Sesi dimulai ketika pengguna berinteraksi dengan agen Anda atau agen mengirimkan pesan proaktif kepada pengguna. Sesi dimulai dalam keadaan tidak terlibat .
Suatu sesi menjadi terlibat ketika salah satu hal berikut terjadi:
- topik non-sistem dipicu
- sesi ditingkatkan
- topik fallback dipicu
- topik peningkatan percakapan dipicu
Setelah sesi mulai aktif, sesi tersebut akan tetap aktif. Sesi yang terlibat dapat memiliki salah satu hasil berikut: diselesaikan, ditingkatkan, atau ditinggalkan.
Sesi berakhir dan dianggap ditingkatkan ketika topik Eskalasi dipicu atau node Transfer ke agen dijalankan. (Sesi analitik saat ini berakhir, baik percakapan dialihkan ke agen langsung atau tidak.)
Sesi berakhir dan dianggap terselesaikan ketika:
- Topik Akhir Percakapan dipicu dan pengguna mengonfirmasi bahwa interaksi berhasil atau membiarkan sesi berakhir.
- Topik Keberhasilan Terkonfirmasi dipicu.
Sesi berakhir dan dianggap ditinggalkan ketika sesi yang terlibat habis waktunya dan tidak mencapai status terselesaikan atau dieskalasi.
Tab ringkasan mencakup berbagai bagan dengan tampilan grafis indikator kinerja utama agen Anda. Sisa artikel ini menjelaskan setiap bagan secara lebih rinci.
Tip
- Secara default, halaman menampilkan indikator performa utama selama tujuh hari terakhir. Untuk mengubah periode waktu, gunakan kontrol tanggal di bagian atas halaman.
- Transkrip percakapan untuk analisis chatbot klasik di Dataverse tersedia sekitar enam jam setelah sesi analisis dimulai.
Diagram ringkasan
Bagan ringkasan meringkas indikator kinerja utama untuk periode waktu tertentu dan persentase perubahan selama periode tersebut.
| KETERANGAN | Rincian |
|---|---|
| Sesi Total | Jumlah total sesi dalam periode waktu yang ditentukan. |
| Tingkat keterlibatan | Persentase total sesi yang terlibat. |
| Tingkat resolusi | Persentase sesi yang terlibat dan terselesaikan. |
| Tingkat eskalasi | Persentase sesi keterlibatan yang ditingkatkan. |
| Tingkat pengabaian | Persentase sesi yang terlibat yang ditinggalkan. |
| CSAT | Tampilan grafis skor CSAT (kepuasan pelanggan) rata-rata untuk sesi saat pelanggan merespons permintaan akhir sesi untuk melakukan survei. |
Diagram keterlibatan dari waktu ke waktu
Bagan Keterlibatan dari waktu ke waktu memberikan tampilan grafis mengenai jumlah sesi yang terlibat dan tidak terlibat dari waktu ke waktu.
| Description | Detail |
|---|---|
| Terlibat | Jumlah hari sesi yang terlibat. |
| Tidak terlibat | Jumlah hari sesi yang tidak terlibat. |
Diagram hasil sesi dari waktu ke waktu
Bagan Hasil sesi dari waktu ke waktu memberikan tampilan grafis mengenai tingkat penyelesaian harian, tingkat eskalasi, dan tingkat pembatalan selama periode waktu yang ditentukan.
| Description | Detail |
|---|---|
| Tertangani | Tingkat harian sesi tertangani. |
| Dieskalasikan | Tingkat harian sesi dieskalasi. |
| Diabaikan | Tingkat harian sesi diabaikan. |
Diagram penggerak tingkat resolusi
Bagan Penggerak tingkat resolusi menampilkan topik berdasarkan dampaknya pada tingkat resolusi selama periode waktu yang ditentukan.
| KETERANGAN | Rincian |
|---|---|
| Topik | Sebuah Copilot Studio topik. |
| Kurs | Persentase sesi yang terlibat untuk topik yang terselesaikan. |
| Dampak | Skor dampak tingkat resolusi topik. Skor dampak tingkat resolusi adalah tingkat resolusi keseluruhan termasuk topik dikurangi tingkat resolusi keseluruhan tidak termasuk topik. |
Bagan berikut menampilkan dampak dalam persentase. Topik dengan persentase dampak positif adalah topik yang memiliki tingkat penyelesaian lebih tinggi dari rata-rata—topik tersebut meningkatkan tingkat penyelesaian agen Anda secara keseluruhan.
Tingkatkan tingkat penyelesaian topik dengan persentase dampak negatif yang tinggi untuk lebih cepat meningkatkan tingkat penyelesaian keseluruhan bagi agen Anda.
Untuk melihat informasi tambahan tentang setiap topik, pilih tautan Detail untuk menampilkan halaman detail topik. Untuk informasi lebih lanjut, lihat Menganalisis penggunaan topik.
Diagram penggerak tingkat eskalasi
Bagan Penggerak laju eskalasi menampilkan topik berdasarkan urutan dampaknya terhadap laju eskalasi selama periode waktu yang ditentukan.
| KETERANGAN | Rincian |
|---|---|
| Topik | Sebuah Copilot Studio topik. |
| Kurs | Persentase sesi yang terlibat untuk topik yang ditingkatkan. |
| Dampak | Skor dampak tingkat eskalasi topik. Skor dampak tingkat eskalasi adalah tingkat eskalasi keseluruhan termasuk topik dikurangi tingkat eskalasi tidak termasuk topik. |
Bagan berikut menampilkan dampak dalam persentase. Topik dengan persentase dampak positif adalah topik dengan tingkat eskalasi lebih besar dari rata-rata—topik tersebut meningkatkan tingkat eskalasi agen Anda secara keseluruhan.
Turunkan tingkat eskalasi topik dengan persentase dampak tinggi untuk lebih cepat menurunkan tingkat eskalasi bagi agen Anda.
Untuk melihat informasi tambahan tentang setiap topik, pilih tautan Detail untuk menampilkan halaman detail topik. Untuk informasi lebih lanjut, lihat Menganalisis penggunaan topik.
Diagram penggerak tingkat pengabaian
Itu Penggerak tingkat pengabaian Bagan menampilkan topik berdasarkan dampaknya terhadap rasio pengabaian selama periode waktu tertentu.
| KETERANGAN | Rincian |
|---|---|
| Topik | Sebuah Copilot Studio topik. |
| Kurs | Persentase sesi yang terlibat untuk topik tersebut yang ditinggalkan. |
| Dampak | Skor dampak tingkat pengabaian topik. Skor dampak tingkat pengabaian adalah tingkat pengabaian keseluruhan termasuk topik dikurangi tingkat pengabaian tidak termasuk topik. |
Bagan berikut menampilkan dampak dalam persentase. Topik dengan persentase dampak positif adalah topik yang memiliki rasio pengabaian lebih besar dari rata-rata—topik tersebut meningkatkan rasio pengabaian agen Anda secara keseluruhan.
Turunkan rasio pengabaian topik dengan persentase dampak tinggi untuk lebih cepat menurunkan rasio pengabaian bagi agen Anda.
Untuk melihat informasi tambahan tentang setiap topik, pilih tautan Detail untuk menampilkan halaman detail topik. Untuk informasi lebih lanjut, lihat Menganalisis penggunaan topik.
Analisis metrik kepuasan pelanggan agen Anda
Itu Kepuasan Pelanggan tab dari Analitik Halaman ini menyediakan tampilan terperinci data survei kepuasan pelanggan (CSAT), termasuk skor CSAT rata-rata, tema pertanyaan utama pengguna, dan wawasan yang dapat ditindaklanjuti tentang pendorong kepuasan atau ketidakpuasan terhadap tanggapan agen Anda.
Secara default, halaman menampilkan indikator kinerja utama selama tujuh hari terakhir. Untuk mengubah periode waktu, gunakan pemilih tanggal di bagian atas halaman. Anda dapat mengambil data untuk periode apa pun dalam 45 hari terakhir.
Skor Kepuasan Pelanggan
Bagan skor kepuasan pelanggan menyediakan tampilan grafis rata-rata skor CSAT untuk sesi di mana pelanggan menanggapi permintaan akhir percakapan untuk mengikuti survei. Survei CSAT meminta pelanggan untuk menilai pengalaman mereka pada skala 1 hingga 5. Jika pelanggan menanggapi lebih dari satu survei dalam sesi yang sama, hanya survei terbaru yang digunakan.
Bagan ini juga menyediakan indikator perubahan dari periode ke periode. Misalnya, saat Anda memilih periode tiga hari, indikator menunjukkan persentase perubahan relatif terhadap tiga hari sebelum periode yang dipilih. Indikator periode ke periode hanya muncul jika agen Anda memiliki data survei CSAT yang tersedia untuk periode sebelumnya. Jika tidak ada data survei CSAT yang tersedia untuk periode waktu yang sama relatif terhadap apa yang dipilih dalam filter, maka indikator periode ke periode tidak muncul.
Tingkat respons survei CSAT
Bagan tingkat respons survei CSAT menunjukkan jumlah survei akhir percakapan CSAT yang disajikan dan persentase survei yang diselesaikan.
Rincian kepuasan pelanggan (CSAT)
Bagan perincian kepuasan pelanggan menunjukkan persentase sesi yang merasa puas, tidak puas, atau netral dalam periode waktu yang dipilih. Panel status kepuasan pelanggan memberikan detail lebih lanjut tentang berbagai sinyal yang digunakan untuk menentukan status kepuasan sesi.
Skor kepuasan pelanggan
Bagan Status kepuasan pelanggan memberikan wawasan utama tentang tema yang dicari pengguna, dan tingkat kepuasan pengguna terhadap tanggapan agen. Sesi dengan tema serupa dikelompokkan bersama. Bagan menunjukkan jumlah sesi untuk setiap tema selama periode yang dipilih, dan persentase sesi yang puas atau tidak puas. Sesi yang tidak memuaskan dan tidak tidak puas dianggap sebagai sesi netral dan tidak muncul pada bagan ini.
Tema sesi tertentu diturunkan menggunakan model ML. Sebelum dikirim ke dasbor analitik, tema diproses untuk menghapus data pribadi atau informasi sensitif, seperti nomor telepon. Selain itu, jika tema mengandung bahasa yang tidak senonoh atau berbahaya, tema tersebut akan ditutup-tutupi.
Untuk melihat faktor pendorong kepuasan atau ketidakpuasan tertentu, arahkan kursor ke setiap segmen diagram. Jika salah satu kriteria berlaku untuk sesi tertentu, maka sesi tersebut diklasifikasikan sebagai puas atau tidak puas:
Suatu sesi dianggap tidak memuaskan jika:
- Pengguna memberi dua bintang atau kurang di akhir percakapan survei.
- Pengguna diminta untuk mengulang pertanyaannya dua kali atau lebih dari dua kali dalam (topik fallback sistem).
- Pengguna meninggalkan sesi.
- Pengguna meningkatkan sesi ke agen langsung.
- Sentimen keseluruhan pengguna tentang percakapan mereka dengan agen diklasifikasikan sebagai negatif. Sentimen ditentukan menggunakan model ML yang tersedia untuk umum dan disesuaikan untuk analisis sentimen.
Suatu sesi dianggap memuaskan jika:
- Pengguna memberi empat bintang atau lebih di akhir percakapan survei.
- Pengguna tidak diminta untuk mengulang pertanyaannya lebih dari satu kali dalam (topik fallback sistem).
- Sidang telah diselesaikan.
- Sentimen keseluruhan pengguna tentang percakapan mereka dengan agen tergolong positif.
Sesi yang tidak memenuhi kriteria di atas dianggap sesi netral dan tidak muncul pada bagan ini.
Pada tab Ringkasan di halaman Analisis , Anda dapat menggunakan ikon Informasi untuk mempelajari lebih lanjut tentang tingkat keterlibatan, eskalasi, pengabaian, dan penyelesaian.
Ekstraksi sentimen tema dan sesi
Copilot Studio menggunakan teknik pemrosesan bahasa alami (NLP) untuk mengekstrak tema dan menetapkan sentimen ke sesi agen tertentu.
Untuk setiap sesi, Copilot Studio mengekstrak tema dari ucapan pengguna pertama. Sesi individual dengan tema serupa digabungkan, dan muncul sebagai satu item pada bagan Status kepuasan pelanggan.
Untuk mengevaluasi sentimen sesi, model NLP yang mendasarinya dilatih pada kumpulan data bahasa Inggris publik. Proses ini menganalisis teks sesi untuk menentukan apakah sentimen keseluruhannya positif, negatif, atau netral. Proses ini juga memproses terlebih dahulu pertanyaan pengguna untuk menghilangkan positif palsu. Misalnya, praproses ini memastikan bahwa pertanyaan seperti "apa pilihan terbaik?" tidak diklasifikasikan sebagai positif hanya karena kata "terbaik" muncul dalam pertanyaan tersebut.