Klasik sohbet botu analizi
Önemli
Bu makalede, klasik sohbet botu analiz deneyimi için kullanılabilen ölçümler ve veriler açıklanmaktadır. Varsayılan olarak, Copilot Studio modern aracılar için analitik kullanır. Klasik sohbet botu analizleri istek üzerine mevcuttur. Teknik desteğe başvurarak bir istek gönderin.
Analiz sayfasının Özet sekmesi, aracınızın performansına kapsamlı bir genel bakış sunar. Hangi konuların tırmanma oranı, terk oranı ve çözüm oranı üzerinde en büyük etkiye sahip olduğunu size göstermek için yapay zeka (AI) teknolojisini kullanır.
Analiz oturumları, aracınızla kullanıcı etkileşimini izler ve aracınızın kullanıcı görevlerini ne kadar iyi işleyeceğini yakalamaya çalışır. Tek bir konuşma bir veya daha fazla analiz oturumu içerebilir. Her oturum belirli bir konuyla ilişkilendirilir. Tetiklenen son sistem dışı konu başlığı (veya sistem dışı konu başlığı tetiklenmediyse tetiklenen ilk sistem konusu) analiz oturumuyla ilişkilendirilir.
Özet grafikler, aracınızın ne kadar iyi performans gösterdiğini ölçer ve temsilcinizin performansını en çok etkileyen konuları bulmanıza yardımcı olur. Bir oturum 30 dakika boşta kaldıktan sonra zaman aşımına uğrar.
Bir kullanıcı aracınızla etkileşim kurduğunda veya aracı kullanıcıya proaktif bir ileti gönderdiğinde bir oturum başlar. Oturum etkileşimsiz bir durumda başlar.
Aşağıdakilerden biri olduğunda bir oturum bağlı hale gelir:
- sistem dışı bir konu tetiklenir
- oturum aktarılır
- geri dönülecek konu tetiklenir
- konuşma iyileştirme konusu tetiklenir
Oturum bağlı hale geldikten sonra bağlı kalır. Etkileşim sağlanan bir oturum şu sonuçlardan birine sahip olabilir: çözümlendi, iletildi veya terk edildi.
Görev aktarma konusu tetiklendiğinde ya da Temsilciye aktar düğümü çalıştırıldığında bir oturum sona erer ve görev aktarıldı olarak kabul edilir. (Konuşma canlı bir temsilciye aktarılsa da aktarılmasa da mevcut analiz oturumu sona erer).
Bir oturum aşağıdaki durumlardan biri gerçekleştiğinde sona erer ve çözülmüş sayılır:
- Konuşma Sonu konusu tetiklendiğinde ve kullanıcı etkileşimin başarılı olduğunu onayladığında veya oturumun zaman aşımına uğramasına izin verdiğinde.
- Onaylanan Başarı konusu tetiklendiğinde.
Bir oturum zaman aşımına uğradığında ve çözülmüş veya görev aktarılmış durumuna ulaşmadığında oturum sona erer ve terk edildi olarak kabul edilir.
Özet sekmesi, aracınızın temel performans göstergelerinin grafiksel görünümlerini içeren çeşitli çizelgeler içerir. Bu makalenin geri kalanında her bir grafik daha ayrıntılı olarak açıklanmaktadır.
İpucu
- Varsayılan olarak, sayfa son yedi günün ana performans göstergelerini gösterir. Zaman aralığını değiştirmek için sayfanın üst kısmındaki tarih denetimlerini kullanın.
- Dataverse'deki klasik sohbet botu analitiğine ait konuşma dökümleri, analitik oturumu başladıktan yaklaşık altı saat sonra kullanılabilir hale geliyor.
Özet grafikleri
Özet grafikleri, belirtilen zaman dilimi için ana performans göstergelerini ve dönem üzerinde değişiklik yüzdesini özetler.
| Açıklama | Ayrıntılar |
|---|---|
| Toplam oturum | Belirtilen zaman dilimi içindeki toplam oturum sayısı. |
| Katılım oranı | Etkileşimli hâle gelen oturumların toplam yüzdesi. |
| Çözüm oranı | Çözülen etkileşimli oturumların toplam yüzdesi. |
| Görev aktarma oranı | Görev aktarılan etkileşimli oturumların toplam yüzdesi. |
| Ayrılma oranı | Terk edilen etkileşimli oturumların toplam yüzdesi. |
| CSAT | Müşterilerin, ankete katılmak için oturum sonu isteğine yanıt verdiği oturumlar için ortalama müşteri memnuniyet (CSAT) puanlarının grafik görünümü. |
Zamana göre etkileşim grafiği
Zamana göre etkileşim grafiği, zamana göre etkileşimli ve etkileşimsiz oturum sayısının grafik görünümünü sağlar.
| Veri Akışı Açıklaması | Ayrıntılar |
|---|---|
| Etkileşimli | Etkileşimli oturumların günlük sayısı. |
| Etkileşimsiz | Etkileşimsiz oturumların günlük sayısı. |
Zamana göre oturum sonuçları grafiği
Zaman içindeki oturum sonuçları grafiği, belirtilen süre boyunca günlük çözüm oranının, artış oranının ve terk etme oranının grafiksel bir görünümünü sağlar.
| Veri Akışı Açıklaması | Ayrıntılar |
|---|---|
| Çözüldü | Çözülmüş oturumların günlük oranı. |
| Aktarıldı | Görev aktarılmış oturumların günlük oranı. |
| Bırakıldı | Bırakılmış oturumların günlük oranı. |
Çözüm oranı teşvikleri grafiği
Çözüm oranı faktörleri grafiği, konuları belirtilen zaman dilimine göre çözüm oranı üzerindeki etki sırasında görüntüler.
| Açıklama | Ayrıntılar |
|---|---|
| Başlık | Copilot Studio konusu. |
| Ücret | Çözülen konu için etkileşimli oturumların toplam yüzdesi. |
| Etki | Konunun çözüm oranı etki puanı. Çözüm oranı etki puanı, konu dahil genel çözüm oranı eksi konu hariç genel çözüm oranıdır. |
Grafik, etkiyi yüzde oranı cinsinden görüntüler. Olumlu etki yüzdesine sahip konular, ortalamadan daha yüksek çözüm oranına sahip konulardır bu da aracınızın genel çözüm oranını artırır.
Aracınızın genel çözüm oranını daha hızlı iyileştirmek için yüksek olumsuz etki yüzdelerine sahip konuların çözüm oranını artırın.
Her konu hakkında ek bilgileri görmek için konu ayrıntıları sayfasını görüntülemek üzere Ayrıntı bağlantısını seçin. Daha fazla bilgi için bkz. Konu kullanımın analiz etme.
Görev aktarma oranı teşvikleri grafiği
Görev aktarma oranı faktörleri grafiği, konuları belirtilen zaman dilimine göre görev aktarma oranı üzerindeki etki sırasında görüntüler.
| Açıklama | Ayrıntılar |
|---|---|
| Başlık | Copilot Studio konusu. |
| Ücret | Görev aktarılan konu için etkileşimli oturumların toplam yüzdesi. |
| Etki | Konunun görev aktarma oranı etki puanı. Görev aktarma oranı etki puanı, konu dahil genel görev aktarma oranı eksi konu hariç genel görev aktarma oranıdır. |
Grafik, etkiyi yüzde oranı cinsinden görüntüler. Olumlu etki yüzdesine sahip konular, ortalamanın üzerinde bir iletme oranına sahip konulardır ve aracınızın genel eskalasyon oranını artırmıştır.
Aracınız için eskalasyon oranını daha hızlı bir şekilde azaltmak için yüksek etki yüzdelerine sahip konuların iletme oranını düşürün.
Her konu hakkında ek bilgileri görmek için konu ayrıntıları sayfasını görüntülemek üzere Ayrıntı bağlantısını seçin. Daha fazla bilgi için bkz. Konu kullanımın analiz etme.
Bırakma oranı teşvikleri grafiği
Terk etme oranı faktörleri grafiği, konuları belirtilen zaman dilimine göre terk etme oranı üzerindeki etki sırasında görüntüler.
| Açıklama | Ayrıntılar |
|---|---|
| Başlık | Copilot Studio konusu. |
| Ücret | Terk edilen konu için etkileşimli oturumların toplam yüzdesi. |
| Etki | Konunun bırakma oranı etki puanı. Bırakma oranı etki puanı, konu dahil genel bırakma oranı eksi konu hariç genel bırakma oranıdır. |
Grafik, etkiyi yüzde oranı cinsinden görüntüler. Olumlu etki yüzdesine sahip konular, ortalamanın üzerinde bir vazgeçme oranına sahip konulardır ve aracınızın genel vazgeçme oranını artırmıştır.
Aracınızın vazgeçme oranını daha hızlı bir şekilde azaltmak için yüksek etki yüzdelerine sahip konuların vazgeçme oranını düşürün.
Her konu hakkında ek bilgileri görmek için konu ayrıntıları sayfasını görüntülemek üzere Ayrıntı bağlantısını seçin. Daha fazla bilgi için bkz. Konu kullanımın analiz etme.
Aracınızın müşteri memnuniyeti ölçümlerini çözümleme
Analizler sayfasının Müşteri Memnuniyeti sekmesi, ortalama CSAT puanı, birincil kullanıcı sorgusu temaları ve aracınızın yanıtlarıyla ilgili memnuniyet veya yetersizlik odaklı eyleme dönüştürülebilir öngörüler dahil olmak üzere müşteri memnuniyeti (CSAT) anket verilerinin ayrıntılı bir görünümünü sunar.
Varsayılan olarak, sayfa son yedi günün ana performans göstergelerini gösterir. Zaman dilimini değiştirmek için, sayfanın en üstündeki tarih seçicileri kullanın. Son 45 gün içinde herhangi bir döneme ait verileri alabilirsiniz.
Müşteri memnuniyet skoru
Müşteri memnuniyeti puanı grafiği, müşterilerin ankete katılmak için görüşme sonu isteğine yanıt verdiği oturumlara ilişkin ortalama CSAT puanlarının grafiksel bir görünümünü sağlar. CSAT anketi, müşterilerden deneyimlerini 1 ile 5 arasında bir ölçeğe oranıyla ölçmelerini istemektedir. Bir müşteri aynı oturumda birden fazla ankete yanıt verirse, yalnızca en son anket kullanılır.
Bu grafik ayrıca, dönem içi bir değişiklik göstergesi de sağlar. Örneğin, üç günlük bir dönem seçtiğinizde, gösterge seçili dönemden üç gün önceki üç güne göre yüzde değişikliğini gösterir. Dönem üstü dönem göstergesi yalnızca aracınızda önceki döneme ait CSAT araştırma verileri mevcutsa görünür. Filtrede seçilene göre aynı son dönem için kullanılabilir CSAT anket verisi yoksa, dönem içi gösterge gösterilmez.
CSAT anketi yanıt oranı
CSAT anketi yanıt oranı grafiği, sunulan konuşma sonu CSAT anketlerinin sayısını ve tamamlanan anketlerin yüzdesini gösterir.
Müşteri memnuniyeti dökümü
Müşteri memnuniyeti dökümü grafiği, seçilen zaman diliminde memnun kalan, memnun olmayan veya nötr olan oturumların yüzdesini gösterir. Müşteri memnuniyet durumu bölmesi oturum memnuniyeti durumunu belirlemek için kullanılan çeşitli sinyaller hakkında daha fazla ayrıntı sağlar.
Müşteri memnuniyeti durumu
Müşteri memnuniyeti durum grafiği, kullanıcıların aramakta olduğu temalara ve kullanıcıların aracının yanıtları hakkında memnuniyet düzeyine dair temel öngörüler sunar. Benzer temalara sahip oturumlar bir arada gruplandırılır. Grafik, seçili dönemdeki her temaya yönelik oturum sayısını ve memnun veya tatmin olmayan bu oturumların yüzdesini gösterir. Memnun olmayan veya tatmin olmayan oturumlar tarafsız oturum olarak kabul edilir ve bu grafikte görünmez.
Belirli bir oturumun teması ML modelleri kullanılarak türetilir. Analizler panosuna gönderilmeden önce, temalar telefon numaraları gibi kişisel olarak kişiel bilgileri veya hassas bilgileri kaldırmak için işlenir. Ayrıca, temalar adsız veya zararlı bir dil içeriyorsa bu temalar maskelenir.
Belirli memnuniyet veya memnuniyetsizlik faktörlerini görmek için grafiğin her bir bölümünün üzerine gelin. Ölçütlerden herhangi biri belirli bir oturum için doğruysa, oturum memnun veya tatminsiz olarak sınıflandırılır:
Bir oturum, aşağıdaki durumlarda memnuniyetsiz olarak kabul edilir:
- Kullanıcı konuşma anketinin sonunda iki veya daha az yıldız verdi.
- Kullanıcıdan, sorgusunu iki veya ikiden fazla kez (sistem geri dönülecek konu) yeniden irdelemesi istendi.
- Kullanıcı oturumu iptal etti.
- Kullanıcı oturumu canlı bir aracıya iletir.
- Kullanıcının aracıyla konuşmasıyla ilgili genel duyarlılığı olumsuz olarak sınıflandırılır. Duyarlılık, duyarlılık analizi için herkese açık bir ML modeli ince ayar kullanılarak belirlenir.
Bir oturum, aşağıdaki durumlarda memnun olarak kabul edilir:
- Kullanıcı konuşma anketinin sonunda dört veya daha fazla yıldız verdi.
- Kullanıcıdan (sistem geri dönüş konusu) içinde sorgusunu birden fazla kez yeniden ifade etmesi istenmedi.
- Oturum çözüldü.
- Kullanıcının aracıyla konuşmasıyla ilgili genel duyarlılığı olumlu olarak sınıflandırılır.
Yukarıdaki ölçütlerin hiçbirini karşılamayan oturumlar tarafsız oturum olarak kabul edilir ve bu grafikte görünmez.
Analizler sayfasının Özet sekmesinde, katılım, üstüne iletme, terk etme ve çözüm oranları hakkında daha fazla bilgi edinmek için Bilgi simgelerini kullanabilirsiniz.
Tema ve oturum duyarlılığı çıkarma
Copilot Studio, temaları ayıklamak ve belirli bir aracı oturumuna duyarlılık atamak için doğal dil işleme (NLP) tekniklerini kullanır.
Her oturum için Copilot Studio ilk kullanıcı dönüşümünün temalarını ayıklar. Benzer temalara sahip ayrı ayrı oturumlar toplanır ve Müşteri memnuniyeti durum grafiğinde tek bir öğe olarak görüntülenir.
Oturum duyarlılığını değerlendirmek için temel NLP modeli herkese açık İngilizce dil veri kümeleri üzerinde eğitilir. Bu süreç, genel duyarlılığın olumlu, olumsuz veya nötr olup olmadığını belirlemek için oturum metnini analiz eder. İşlem ayrıca hatalı pozitifleri kaldırmak için kullanıcı sorgularını önceden işler. Örneğin, bu önişleme, "en iyi seçenek nedir?" gibi bir sorgunun yalnızca sorguda "en iyi" sözcüğü görüntülendiğinden olumlu olarak sınıflandırılmamasını sağlar.