Kazanılan saat, kazanılan para değildir: bir yapay zeka sisteminin getirisi nasıl ölçülür?

Çeyreklik değerlendirmede sıra yapay zeka asistanına gelir. Slayta göre asistan binlerce saat kazandırmıştır. Finans tek bir soru sorar: hangi bütçe kalemi azaldı? Kimse yanıt veremez ve büyük ihtimalle işe yarayan bir sistem, bir maliyet kalemi gibi görünmeye başlar.

Kazanılan saat, kazanılan para değildir. Zaman ancak biri onun ne için kullanılacağına karar verdiğinde değere dönüşür. Yapay zeka yatırım getirisini dürüstçe ölçmek için başlangıç ölçümüyle karşılaştırın, sonuçların nereden geldiğini dikkatle gösterin ve işletmenin zaten fiyatladığı kalite, hız ve risk kazanımlarını sayın.

Yapay zeka getiri iddiaları sorgulanınca neden çöker?

Çünkü tersten kurulurlar: kullanımdan değere. Olağan zayıf noktalar şunlardır:

• Tahmini saatler. Kullanıcılara ne kadar zaman kazandıkları soruldu; kimse ölçmedi.
• Başlangıç ölçümü yok. Canlıya geçmeden önce hiçbir şey kaydedilmedi; karşılaştırılacak bir şey yok.
• Net değil, brüt. İnceleme süresi, yeniden işleme ve işletme maliyetleri dışarıda bırakıldı.
• Her şey yapay zekaya yazıldı. Yeni bir politika, sakin bir sezon ya da yeni bir işe alım da sayıları değiştirdi.
• Kapasite nakit sayıldı. Serbest kalan saatler, hiçbir bütçede görünmeyen tasarruflar olarak sunuldu.

Her biri düzeltilebilir ve düzeltmelerin çoğu canlıya geçmeden önce yapılır.

Neyle karşılaştırmalı?

Canlıya geçmeden önce kaydedilen ve süreç sahibiyle üzerinde anlaşılan başlangıç ölçümüyle: hacim, vaka başına süre, hata ya da yeniden işleme oranı, vaka başına maliyet ve baştan sona işlem süresi. Başlangıç ölçümü yoksa sistemdeki zaman damgalarından ve kayıtlardan yapabildiğinizi yeniden oluşturun; bir karşılaştırma grubunu da hemen ölçün.

Benzeri benzeriyle karşılaştırın: aynı vaka türleri, aynı sezon, aynı ekip. Sakin bir ayda alınan başlangıç ölçümüyle ay sonunda alınan bir sonuç, hangi yönde olursa olsun karşılaştırılamaz.

İş bittiğinde: süreç sahibi, kaynaklarını listeleyen başlangıç ölçümü sayfasını imzalamış olur. Sık yapılan hata: başlangıç ölçümünün canlıya geçtikten sonra hafızadan yeniden kurulması.

Kazanılan zaman nasıl değere dönüşür?

Çoğu zaman birbirine karıştırılan iki şeyi ayırın. Serbest kalan kapasite, artık başka işlere ayrılabilecek saatlerdir. Ortadan kalkan maliyet ise gerçekten değişen bir bütçedir: fazla mesai, geçici personel, dış kaynağa verilen iş ya da artık gerekmeyen planlı bir işe alım.

Kazanılan zaman, ancak ne için kullanılacağına biri karar verdiğinde değere dönüşür.

Bu kararı canlıya geçmeden önce süreç sahibiyle birlikte yazıya dökün; sonra zamanın nereye gittiğini ölçün.

İş bittiğinde: serbest kalan her saatin nereye gideceği adıyla bellidir. Sık yapılan hata: o işin ne olduğunu hiç ölçmeden “ekip daha değerli işlere odaklanacak” demek.

Kalite, hız ve risk nasıl hesaba katılır?

İşletmenin zaten fiyatladığı kazanımları, onun kendi rakamlarıyla sayın: yeniden işleme saatleri, hatalı para iadeleri ve hatalı kesilen iade faturaları, tekrar eden müşteri temasları, zarar yazılan alacaklar, kaçınılan cezalar, zamanında ödemeyle yakalanan iskontolar. Hız ancak bir fiyatı olduğunda paraya çevrilir, örneğin bir hizmet taahhüdünde; aksi halde onu bir hizmet ölçüsü olarak raporlayın.

Kanallar arasında daha tutarlı kararlar ya da denetimlerde daha az bulgu gibi risk kazanımları gerçektir ama fiyatlandırılması zordur. Bunları para cinsinden bir rakam uydurarak değil, kendi birimleriyle raporlayın. Ardından sistemi işletmenin, incelemenin ve bakımının maliyetini bu kazanımlardan çıkarın; hataların iki taraftaki maliyetinin nasıl fiyatlandırılacağını token maliyetini hata maliyetiyle karşılaştıran not gösteriyor.

İş bittiğinde: her kazanım, işletmenin kendi birimleriyle ve kaynağıyla birlikte yazılmıştır. Sık yapılan hata: kendi ölçümünüzün olması gereken yerde bir tedarikçinin vaka başına ortalama tasarrufunun durması.

Değişimi sistemin yarattığını nasıl anlarsınız?

En basitten en güçlüye üç seçenek var:

1. Başlangıç ölçümüne göre önce ve sonra. Çoğu zaman yeterlidir; ama aynı dönemde başka şeyler de değiştiyse zayıf kalır, o yüzden onları listeleyin.
2. Sonradan başlayan bir karşılaştırma ekibi. Yaygınlaştırma zaten kademeli yapılır. İlk ekibin ölçümlerinin, bekleyen ekibinkilerle aynı haftalarda nasıl değiştiğini karşılaştırın; aradaki fark sistemin etkisidir.
3. Destekli ve desteksiz vakalar. Tek bir ekip içinde, sistemin çıktısıyla ve çıktısı olmadan işlenen vakaları karşılaştırın. İnsanlar araca daha çok kolay vakalarda başvurur; bu yüzden mümkünse vakaları rastgele atayın ya da her vaka türünü kendi içinde karşılaştırın.

Kullanım verisine hak ettiğinden fazla anlam yüklemeyin. Çok kullanılan bir araç da başlangıç ölçümünün gerisinde kalabilir: insanlar her vakada asistanı açıp sonra taslağı baştan yazıyorsa kullanım yüksektir ama vaka başına süre yerinden oynamamıştır. Kullanım değeri değil benimsemeyi ölçer; yeri, kalite ve maliyetle birlikte izleme metrikleri arasıdır.

İş bittiğinde: etki, kullanılan yöntemle birlikte yazılmış, dönemdeki diğer değişiklikler de yanında listelenmiştir. Sık yapılan hata: karşılaştırma ekibinin, en yüksek sesle istediği için sisteme erkenden kavuşması.

Çeyreklik değer toplantısı neye benzer?

Süreç sahibi, finans ekibinden bir temsilci ve sistemi işleten ekip, tek bir sayfa üzerinden bir saatliğine bir araya gelir. Temsili bir başvuru ekibi ele alalım. Rakamlar varsayımsaldır ve birimler temsilidir; kıyaslama değildir. Başlangıç ölçümünde ekip çeyrekte 3.000 başvuru işliyordu ve her biri 12 dakika sürüyordu; her 100 başvurudan 6’sı yeniden işleniyor, her biri 30 birime mal oluyordu. İncelenen çeyrekte ekip 3.600 başvuru işledi; inceleme dahil her biri 7 dakika sürdü ve her 100 başvurudan 4’ü yeniden işlendi. Personelin bir saati 20 birim tutuyor; sistemin işletme maliyeti başvuru başına 1 birim. Başlangıçtaki hızla, fazladan gelen 600 başvuru 120 saat daha gerektirecekti; süreç sahibi bunu geçici personelle karşılamayı planlamıştı.

Birikimdeki kazanım ve bir işe ayrılmayan saatler net rakamda yer almaz; almamalıdır da. Toplantı bir puanla değil kararlarla biter: 80 saatin nereye gideceğine karar verin, vaka başına sürenin neden 7 dakikada takılıp kaldığını araştırın ve sonradan başlayan ofisi karşılaştırma grubu olarak koruyun. Geliştirme maliyeti iş gerekçesinde kalır; toplantı onu orada varsayılan geri ödeme süresiyle karşılaştırır. Sık yapılan hata: toplantının bir kullanım raporuna dönüşmesi ve kimsenin bir kararla çıkmaması.

Kazanılan her saat nereye gidecek?

Canlıya geçmeden önce serbest kalan her saatin ne için kullanılacağını ve bunu kimin ölçeceğini yazın. Çeyreklik iyileştirme toplantıları yapay zeka güvenilirliği hizmetimizin parçasıdır; başlangıç ölçümü yapay zeka stratejisi ve keşif çalışmasında başlar. Çalışmalar sayfamızdaki her temsili çalışma da başta üzerinde anlaşılan bir başlangıç ölçümüne göre ölçülür.