Yapay zekanın tutarlı uygulayabileceği bir çağrı kalite formu nasıl hazırlanır?

Birçok çağrı merkezinin kalite formunda “Empati kurdu: 1–5 arası” gibi bir satır bulunur. Deneyimli değerlendiriciler bunu hislerine göre puanlar ve onlar bile anlaşamaz: biri sıcaklık duyar, öteki ezberlenmiş bir metin. Her hafta temsilci başına bir avuç çağrıyı bir insanın puanladığı dönemde bu idare edilebiliyordu. Yapay zeka her çağrıyı puanlamaya başladığında ise işlemez; çünkü insanların tutarlı uygulayamadığı bir ölçütü model de tutarsız uygular, üstelik daha hızlı.

Yapay zeka her çağrıyı ancak her seferinde aynı biçimde uygulayabildiği ölçütlerle değerlendirebilir. Asıl iş çağrı kalite değerlendirme formundadır: belirsiz ölçütleri gözlemlenebilir davranışlara çevirmek, hangilerinin insanlarda kalacağına karar vermek, kalite ekibiyle geçmiş çağrılar üzerinde kalibrasyon yapmak ve her bulguyu kontrol edilebilsin diye tam saniyesine bağlamak.

İnsanlar için hazırlanan formlar neden doğrudan yapay zekaya aktarılamaz?

Çünkü bu formlar, kalite ekibinin yıllar içinde birlikte oluşturduğu bir muhakemeye dayanır; form yalnızca bunu hatırlatır. Aynı kelimeler bir modele verildiğinde model onları kendi bildiği gibi okur. Üç boşluk daha çabucak ortaya çıkar:

• Karışık düzeyler. Tek bir form olguları (kimlik doğrulandı mı?), yargıları (üslup doğru muydu?) ve başka yerde belirlenen sonuçları (müşteri memnun kaldı mı?) bir arada tutar.
• Eksik bağlam. “Doğru çözümü sundu” ölçütü yalnızca dökümü değil, sipariş kaydını ve politikayı da gerektirir.
• Döküm hataları. Model kendisine verilen kelimeleri puanlar. Türkçe konuşma tanıma bir olumsuzluğu yanlış duyduysa bulgu da hatayı devralır.

Her çağrıyı puanlamak amacı da değiştirir. Örneklem temsilcileri denetler; tam kapsam ise tekrarlayan sorunları ortaya çıkarır, örneğin bütün bir kuyrukta bekletme açıklamasının hiç yapılmadığını.

Ölçütler gözlemlenebilir davranışlara nasıl çevrilir?

Her ölçüte tek bir test uygulayın: ayrı ayrı dinleyen iki değerlendirici bu ölçüt üzerinde anlaşabilir mi, davranışın gerçekleştiği saniyeyi gösterebilir ya da gerçekleşmediğini ortaya koyabilir mi? Anlaşamıyorsa ölçütü bir davranış, onu tetikleyen koşul ve onu gösteren kanıt olarak yeniden yazın.

Temsili bir yeniden yazım örneğine bakalım. Önce: “Empati kurdu (1–5 arası).” Sonra, dört gözlemlenebilir ifade:

1. Temsilci, müşteri sorunun bir sonucunu anlattığında (örneğin kaçırılan bir iş günü ya da fazladan bir maliyet) çözüme geçmeden önce bunu kabul etti.
2. Temsilci, müşteri sorunu anlatırken onun sözünü kesmedi.
3. Temsilci, şirketin hatalı olduğu durumda genel bir kalıpla değil, belirli sorun için özür diledi.
4. Temsilci görüşmeyi bitirmeden önce sırada ne olacağını ve ne zaman olacağını söyledi.

İfadeleri değil, davranışları yazın. Sorunu kabul eden bir cümle Türkçede (“Haklısınız, bu sizin için gerçekten zahmetli olmuş”) ve İngilizcede farklı duyulur; bir ifade listesi, içermediği her eşdeğeri kaçırır. Bunun yerine iki dilde de örnek verin.

Sonuç, tek bir tabloya sığan bir değerlendirme formudur. Bu satırlar temsilidir:

Hangi ölçütler insanlarda kalmalı?

Okumaya değil duymaya dayanan her şey: sıcaklık, alay ya da ağlamak üzere olan bir müşteri gibi. Kırılgan durumdaki müşterileri ilgilendiren her şey. Mevzuata uyum değerlendirmeleri: yapay zeka işaretler, kararı uyum ekibi verir. Kalibrasyonda üzerinde hiç anlaşılamayan ölçütler. Son olarak, bir temsilcinin ücretini ya da işini etkileyebilecek her şey: bir bulgu, bir insanın kararına girdidir; asla kararın kendisi değildir.

Bunları formda “yalnızca insan” olarak işaretleyin ve geçerli oldukları çağrıları kalite ekibine yönlendirin.

İki değerlendirici bir ölçüt üzerinde anlaşamıyorsa, hiçbir model onu tutarlı uygulayamaz.

Geçmiş çağrılarla kalibrasyon nasıl yapılır?

Kalibrasyon oturumlarında kalite ekibi ve yapay zeka aynı geçmiş çağrı setini birbirinden bağımsız puanlar, sonra sonuçları ölçüt ölçüt karşılaştırır. Her fark üç yoldan biriyle sonuçlanır:

• İnsanlar da kendi aralarında anlaşamadıysa: ölçüt belirsizdir; yeniden yazın.
• Yalnızca yapay zeka farklıysa: talimatlarını düzeltin ya da örnek ekleyin.
• Uyum hiç sağlanamıyorsa: ölçütü yalnızca insanın puanladığı ölçütlere taşıyın.

Uyumu ölçüt bazında izleyin; hedeflenecek tavan, insanlar arasındaki uyumdur. Kapsamı örneklemden tüm çağrılara doğru ancak uyum, kalite ekibinin belirlediği düzeye ulaştığında genişletin ve canlıya geçtikten sonra da düzenli bir örneklemi elle puanlamaya devam edin. Çalışmalar sayfamızdaki temsili çağrı kalite incelemesi de aynı yolu izler.

Bulgular ekip yöneticilerine ve temsilcilere nasıl gösterilmeli?

Her bulgu, döküm alıntısı ve tek tıkla oynatma ile birlikte tam saniyesine bağlanır; böylece herkes onu dinlemek için gereken sürede kontrol edebilir. Kanıtıyla gelen yanıtlar fikrinin ardındaki ilke budur. Bulguları yalnızca ekip yöneticileri değil, temsilcilerin kendileri de görür ve her bulguya gerekçesiyle itiraz edebilir. İtirazları kalite ekibi inceler; haklı bulunanlar kalibrasyon örneği olur. Sistemin emin olmadığı bulgular bir temsilcinin siciline değil, önce kalite ekibine gider.

Ekip yöneticileri için eğilimler, sıralama tablolarından daha değerlidir: hangi davranış, hangi kuyrukta, ne zamandan beri geriliyor? Koçluk, aynı anda bir ya da iki davranışa odaklandığında en iyi sonucu verir.

Form nasıl adil tutulur?

• Yalnızca temsilcinin kontrolündekini puanlayın. Sistem kesintisi sırasındaki uzun bekletmeler temsilcinin hatası değildir.
• Dökümü aksanlar ve diller arasında kontrol edin. Konuşma tanıma sistemi bazı aksanlarda zorlanıyorsa o temsilciler daha fazla hatalı bulgu toplar; gruplar arasında bulgu oranlarını karşılaştırın.
• Formu sürümleyin. Değişiklikleri duyurun ve puanları yalnızca aynı sürüm içinde karşılaştırın.
• Temsilcileri sürece katın. Ölçütlerin yazılmasına katkı veren kişilerin bulgulara güvenme olasılığı daha yüksektir.

Ücret, disiplin ya da çalışan takibiyle ilgili kararlar İK sürecinize göre verilir; çalışanların izlenmesine dair sorular İK’ya ve hukuk danışmanına gider.

Neden önce form yeniden yazılmalı?

Mevcut formunuzu alın ve her satırına iki değerlendirici testini uygulayın. Testi geçemeyenleri yeniden yazın, insanda kalacakları işaretleyin ve işin içine hiç yapay zeka girmeden kalite ekibiyle birkaç düzine geçmiş çağrıyı puanlayın. Her bulgunun saniyesine kadar kaynağını gösteren kalibre edilmiş inceleme, ses ve toplantı zekasının özüdür; çağrı merkezlerinde müşteri operasyonlarının geri kalanıyla yan yana durur.