Müşteri hizmetlerinde yapay zeka, görüşme süresinin ötesinde nasıl ölçülür?

Çağrı merkezinde yeni bir asistan canlıya alınıyor ve ilk haftalık rapor çok iyi görünüyor: ortalama görüşme süresi düşmüş. Birkaç hafta sonra iade ekibi, daha önce sordukları siparişler için yeniden yazan müşterilerin arttığını fark ediyor. İki gözlem de doğru. Ama gösterge panelinde yalnızca biri vardı.

Görüşme süresi, bir temasın ne kadar hızlı kapandığını ölçer; müşterinin sorununun çözülüp çözülmediğini değil. Müşteri hizmetlerinde yapay zeka ölçümünü dürüst yapmak için çözümü, tekrar eden temasları, kaynaklı yanıtların doğruluğunu, temsilcilerin taslakları ne kadar düzelttiğini, aktarımları ve memnuniyeti talep türü ve kanala göre ayırarak izleyin. Her birini canlıya almadan önce kaydedilen başlangıç ölçümüyle karşılaştırın. Aşağıdaki şablonu bir öğleden sonra içinde kendi ortamınızda kurabilirsiniz.

Görüşme süresi neden yanıltabilir?

Üç mekanizma bu sayıyı kaliteyle ilgisi olmayan nedenlerle değiştirir:

• Hızlı ama yarım. Sorunun yarısını yanıtlayan bir taslak çabuk kapanır ve ikinci bir temas doğurur. İki temas da kısadır; ortalama iyileşirken toplam iş büyür.
• Değişen karışım. Self servis kolay talepleri üstlendiğinde zor olanlar temsilcilerde kalır; asistan onlara yardım etse bile ortalamaları yükselir.
• Hedefler davranışı değiştirir. Görüşmeyi erken kapatmak da başka birine aktarmak da görüşme süresi hedefini tutturmanın hızlı yollarıdır.

Görüşme süresi yine de bir verimlilik sinyali olarak izlenmeye değer. Ama ana gösterge olamaz.

Görüşme süresi temasın ne kadar hızlı kapandığını söyler, sorunun çözülüp çözülmediğini değil.

En önemli sonuç metrikleri hangileri?

Canlıya almadan önce her metrik için tek bir tanım yazın ve başlangıç ölçümünde de aynı tanımı kullanın.

Her metriği talep türüne ve kanala göre raporlayın: e-posta, canlı sohbet, WhatsApp ve telefon. Genel bir ortalama, yapay zekanın tam olarak başarısız olduğu yeri gizler; örneğin WhatsApp’tan gelen iade sorularını. Talep türüne göre tutarlı bir rapor için sabit bir talep türleri listesi gerekir; bunu talep sınıflandırması notumuz ele alıyor.

Yanıt kalitesi nasıl ölçülür?

Her hafta, her talep türü için bir örneklemi, yanıtların alıntıladığı kaynaklara göre inceleyin. İnceleyiciler dört şeyi kontrol eder: bilgi doğru mu, alıntılanan kaynak doğru ve güncel kaynak mı, politika doğru uygulanmış mı ve yanıt eksiksiz mi. Kısa bir puanlama ölçütü, iki inceleyicinin aynı şekilde puan vermesini sağlar. Yanlış yanıtın pahalıya patladığı talep türlerinden, örneğin para iadeleri ve şikayetlerden, daha fazla örnek alın.

Doğru yanıtın “bilmiyorum” olduğu vakaları da örnekleme katın. Bilgi bankası sessizken kendinden emin yanıt veren bir sistem, konuyu bir insana aktaran sistemden daha düşük puan almalıdır.

Çağrılarda aynı ölçüt dökümler üzerinde çalışabilir; ses ve toplantı zekasında olduğu gibi her bulgu, kayıttaki ilgili ana bağlanır. Çağrı kalite değerlendirme formu notumuz, ölçütlerin nasıl yazılacağını gösteriyor.

Temsilci düzeltmeleri size ne söyler?

Temsilcinin gönderdiği her taslak bir oydur. Bu oyu dört grupta kaydedin: olduğu gibi gönderildi, hafifçe düzeltildi, büyük ölçüde düzeltildi ya da reddedildi. Yanına kısa bir müdahale nedenleri listesi ekleyin: yanlış bilgi, güncel olmayan politika, eksik bilgi, yanlış üslup, yanlış talep türü, taslağın bilmediği bir bağlam.

Nedenler çözümü gösterir. Güncel olmayan politika, içerik sahibinin işidir. Eksik bilgi çoğu zaman bilgi erişiminin doğru makaleyi bulamadığı anlamına gelir. Yanlış talep türü ise bir taslak sorunu değil, yönlendirme sorunudur.

Düşen bir düzeltme oranına temkinle yaklaşın. Taslakların iyileştiği anlamına da gelebilir, temsilcilerin onları okumayı bıraktığı anlamına da. Haftalık kalite örneklemi ikisini birbirinden ayırır: inceleyiciler, temsilcilerin hiç değiştirmeden gönderdiği hatalar buluyorsa inceleme artık gerçek bir inceleme değildir.

Self servis çözüm oranı dürüstçe nasıl sayılır?

Self servis çözüm oranı (deflection rate), bir temsilciye ulaşmadan self serviste çözülen taleplerin payıdır. Bir talep ancak müşteri kararlaştırılan süre içinde aynı konuda başka bir kanaldan geri gelmediyse sayılır. Kibarca biten ve ardından bir telefon görüşmesi gelen bir sohbet, self serviste çözülmüş sayılmaz. Bu, müşteriye zaman da kaybettirmiş bir başarısızlıktır.

• Temasları kanallar arasında eşleştirin: telefon numarası, e-posta adresi ya da sipariş numarasıyla. Eşleştirmenin her zaman tutmayacağını kabul edin.
• Yarıda bırakılan sohbetleri ayrı sayın. Yanıt almadan sohbeti kapatan müşteri, self serviste çözülmüş sayılmaz.
• Otomasyonda kalma oranını ve çözümü yan yana gösterin. Otomasyonda kalma oranı (containment), müşterinin hiç temsilciye ulaşmadığını söyler; çözüm ise sorunun ortadan kalktığını.

Haftalık gösterge paneli nasıl olmalı?

Tek ekran, her büyük talep türü için bir satır, bir kanal filtresi ve her sayının yanında başlangıç ölçümü: hacim, çözüm, tekrar eden temaslar, düzeltme oranı, aktarımlar, memnuniyet ve görüşme süresi. Altında kalite örnekleminin bulguları ve en sık müdahale nedenleri yer alır.

Temsili bir örnek; sayılar varsayımsaldır. Canlıya almanın ardından iade sorularında ortalama görüşme süresi düşüyor. Aynı satır tekrar eden temasların arttığını gösteriyor; müdahale nedenleri de bunu açıklıyor:

Taslaklar ürünün nasıl geri gönderileceğini anlatıyor ama para iadesinin ne zaman yapılacağını söylemiyordu. Bazı temsilciler zamanı elle ekleyip durumu işaretledi; eklemedikleri yerde müşteriler yeniden sordu. Çözüm bir model değişikliği değil, içerik düzeltmesiydi: para iadesi zamanlamasını anlatan makale güncellendi ve iade taslakları için zorunlu kaynak yapıldı. Tek başına görüşme süresine bakılsaydı bu lansman başarılı sayılırdı.

Canlıya almadan önce ne hazırlanmalı?

Canlıya almadan önce tanımları yazın, tekrar eden temaslar için süreyi seçin ve başlangıç ölçümünü talep türü ve kanala göre kaydedin. Müşteri operasyonları sayfası bu ölçümlerin ilk projede nereye oturduğunu gösteriyor; canlıya aldıktan sonra onları dürüst tutmak da yapay zeka güvenilirliği çalışmasının parçasıdır.