Önce iş akışını, sonra modeli seçin.

Birçok ekip yapay zeka araçlarını çoktan satın aldı. Lisanslar etkin, birkaç meraklı onları her gün kullanıyor, bir iki pilot gelip geçti. Yine de işin yapılış biçiminde neyin değiştiğini sorduğunuzda toplantı odası sessizleşir.

Sorun nadiren modeldir. Modeller çok farklı türde görevler için yeterince yetenekli. Sorun, projenin teknolojiyle başlayıp ona bir kullanım alanı aramasıdır. Oysa bir işle başlamak ve teknolojinin o işi değiştirip değiştiremeyeceğini sormak gerekir.

Neden araçla değil, işle başlamalı?

İş akışı; birinin sahiplendiği, girdileri, kararları ve çıktıları olan, tekrar eden bir adım dizisidir. “Müşteri hizmetlerini yapay zekayla iyileştirmek” bir iş akışı değildir. “Perakende destek ekibi için, sipariş verilerini ve üslup rehberimizi kullanarak teslimat durumu e-postalarına yanıt taslakları hazırlamak” bir iş akışıdır.

Bu fark önemli, çünkü iş akışı ölçülebilir. Her hafta kaç vaka geldiğini, her birinin ne kadar sürdüğünü, yanıtın ne sıklıkla yanlış çıktığını ve bunun neye mal olduğunu ölçebilirsiniz. Bu sayılar olmadan yapay zekanın işe yarayıp yaramadığını anlayamazsınız; bir sonraki aşamanın bütçesini onaylaması gerekenler de anlayamaz.

Sahibi olmayan bir süreci hiçbir model düzeltemez.

İlk iş akışını seçmeden önce hangi dört soruyu sormalı?

Bir ekiple çalışmaya başladığımızda dört testi geçen iş akışlarını ararız.

1. Sık tekrarlanıyor mu? Yılda iki kez yapılan bir görev, bir sistem kurmayı nadiren haklı çıkarır. Her gün ya da her hafta, belli bir hacimde yapılan işlere bakarız.
2. Sınırları belli mi? En iyi ilk iş akışlarının girdileri nettir ve iyi sonuç kolayca tanınır. “Bu faturayı bir satın alma siparişiyle eşleştirmek” sınırları belli bir iştir. “Fiyatlandırma stratejimize karar vermek” değildir; en azından henüz değil.
3. Veriye erişilebiliyor mu? Bilgi, doğru yetkilerle erişebildiğimiz onaylı sistemlerde duruyorsa geliştirebiliriz. Birinin aklında ya da kimsenin bulamadığı bir klasörde duruyorsa ilk proje başka bir projedir.
4. Bir sahibi var mı? Değiştirdiğimiz her iş akışının; sonucu önemseyen, karar verebilen ve canlıya alındıktan sonra da orada olacak bir sahibi olmalı. Sahip yoksa proje de yok.

Dört testi de geçen bir iş akışı adaydır. Ardından ölçmeye geçeriz.

Geliştirmeden önce ne ölçülmeli?

Tek satır kod yazmadan önce işin bugün nasıl yapıldığını kayda geçiririz: hacim, vaka başına süre, hata oranı ve maliyet. Gerçek vakalardan, genellikle birkaç yüz vakalık bir örneklem alır ve onu bir değerlendirme setine dönüştürürüz: her biri bir girdiden ve iyi bir uzmanın varacağı sonuçtan oluşan örnekler.

Bu değerlendirme seti projenin en önemli dokümanı olur. Hangi modelin genel bir kıyaslama testinde değil, sizin örneklerinizde en iyi sonucu verdiğini gösterir. Sistemin ne zaman canlıya alınacak kadar iyi olduğunu söyler. Aylar sonra da bir model güncellemesinin işleri sessizce kötüleştirip kötüleştirmediğini ortaya koyar.

Model neden en son seçilmeli?

İş akışı ve değerlendirme seti hazır olduğunda model seçimi bir tartışma olmaktan çıkar, bir deneye dönüşür. Adayları aynı örneklerle çalıştırır; kaliteyi, maliyeti ve hızı karşılaştırırız. Adaylar çoğu zaman büyük bir ticari model, daha küçük ve ucuz bir model ve sizin altyapınızda çalışabilecek açık ağırlıklı bir modeldir.

Bazen en yetenekli model kazanır. Çoğu zaman vakaların büyük kısmı için daha küçük bir model yeterlidir; geri kalanını daha büyük bir model ya da bir insan üstlenir. Önemli olan, seçimin sizin işinizden gelen kanıtlarla yapılması ve fiyatlar ya da modeller değiştiğinde yeniden ele alınabilmesidir.

Karar nerede insanda kalmalı?

Bir yapay zeka iş akışındaki en önemli tasarım kararı prompt değildir. Bir insanın nerede onaylayacağı, düzelteceği ya da kararı değiştireceğidir. Bunu erkenden belirleriz: hangi işlemler geri alınabilir, hangileri maliyet doğurur, hangileri müşteriye ulaşır ve hangileri ikinci bir göz ister.

İyi bir ilk iş akışı kontrolü sıkı biçimde insanlarda bırakır ve işlerinin sıkıcı kısımlarını üstlenir: bilgi toplamak, taslak hazırlamak, politikaya uygunluğu kontrol etmek. Muhakemelerini ise ellerinden almaz.

İyi bir ilk iş akışı neye benzer?

• Dar ve sık: tek ekip, tek vaka türü, ayda yüzlerce vaka.
• Taslak hazırlar, karar vermez: sistem hazırlar, bir insan onaylar.
• Kanıtı ekli: her öneri kaynaklarını gösterir.
• Her hafta ölçülür: başlangıç ölçümündeki metriklerin aynısı, süreç sahibiyle birlikte gözden geçirilir.

Şirket çapında bir dönüşüm kadar gösterişli değil. Ama dönüşümler aslında böyle başlar. İşe yarayan ve insanların güvendiği tek bir iş akışı, bir kurumun yapay zeka hedefleri için demoda etkileyip sonra ortadan kaybolan on pilottan daha fazlasını yapar.

Nereden başlamalı?

Bunu kendi kurumunuzda denemek isterseniz üç aday iş akışı seçin ve dört sorudan geçirin. Her birinin yanına sahibinin adını yazın. Yazamıyorsanız yanıtınız bu. Aday çoksa onları kanıta dayanarak puanlayın; tek bir aday için hazır olup olmadığını kontrol edin.

İkinci bir görüş isterseniz memnuniyetle yardımcı oluruz. Keşif Çalışması tam da bunun için var.