Gölge mod: yapay zekayı canlı işte, hiçbir şeyi riske atmadan test etmek.

Birkaç hafta boyunca sistem, ekibe gelen her iade talebini okur ve kendisi olsa ne karar vereceğini not eder. Yanıtlarını kimse görmez; ekip tam olarak eskisi gibi çalışır. Her gün biri, iki karar listesini yan yana koyar.

Gölge mod (shadow mode) testi tam olarak budur: Sistem canlı iş üzerinde, mevcut süreçle paralel çalışır ve önerdiği hiçbir şey bir müşteriye ya da bir kayda ulaşmaz. Bu, dürüst testlerin en ucuzudur. Bir örneklem yerine gerçek vaka dağılımını kullanır, operasyonel risk taşımaz ve kimse sisteme güvenmeden önce karar vermek için gereken sayıyı üretir: Sistem, işi yapan insanlarla vaka türüne göre ne sıklıkta aynı kararı veriyor?

Gölge mod nedir, ne işe yarar?

Gölge mod, bir kavram kanıtının (PoC) yanıtlayamayacağı bir soruyu yanıtlar: Sistem, değerlendirme setine koymak kimsenin aklına gelmeyen vakalar dahil, gerçekte gelen her şeyde ayakta kalıyor mu? Gerçek hacimde altyapıyı da sınar: entegrasyonları, yanıt sürelerini ve vaka başına maliyeti. Kavram kanıtından farklı olarak gerçek bir pilotta ilk adım genellikle budur.

İşe yaramasını sağlayan disiplin basittir: Saf gölge modda insanlar çıktıyı görmez. Bir öneri ekrana geldiği anda kararlar ona doğru kaymaya başlar ve uyum bağımsız bir ölçü olmaktan çıkar. Aynı nedenle gölge mod, insanların çıktıyla nasıl çalışacağını ya da inceleme ekranının işe yarayıp yaramadığını söyleyemez. Bunu daha sonra destekli çalışma sınar.

Başlamadan önce neler hazır olmalı?

• Geçmiş vakalarda başarı. Sistem değerlendirme setinde çıtayı geçmiştir. Gölge mod, sistemin belgeleri okuyamadığını keşfetmenin yeri değildir.
• Salt okunur erişim. Sistem canlı girdileri okur ve hiçbir yere yazmaz: ne kayıtlara ne e-postalara ne de müşterilere.
• Kayıt tutma. Her vaka için tek bir kayıt tutulur: girdi, kanıtı ve güven düzeyiyle birlikte öneri, model, prompt ve kaynak sürümleri, insanın kararı, zaman damgaları ve vaka türü. Sürümler olmadan sayıları hangi değişikliğin oynattığını anlayamazsınız.
• Veri koruma kontrolü. Canlı vakalar genellikle kişisel veri içerir; bu veriyi yeni bir sistem işleyecektir, belki de yeni bir yerde. İlk vaka akmadan önce veri koruma görevlinize (DPO) hukuki sebebi, işleme yerini, kayıtların ne kadar saklanacağını ve kimlerin okuyabileceğini sorun.
• Vaka türleri ve eşleşme kuralları. Vakaların nasıl gruplanacağı ve neyin uyum sayılacağı konusunda süreç sahibiyle anlaşın: örneğin aynı kategori ya da belirlenen tolerans içinde kalan bir tutar.
• Yazılı çıkış kriterleri. Hangi vaka türünde hangi uyumun bir sonraki adıma geçireceği ve testi neyin durduracağı.

İş bittiğinde, her vaka için otomatik olarak toplanmış eksiksiz bir kayıt olur. Sık yapılan hata, sistemin yanıtını insanın kararı olmadan kaydetmektir; bu da her karşılaştırmayı elle yürütülen bir projeye dönüştürür.

Gölge mod testi ne kadar sürmeli?

Süreyi takvime göre değil, vaka sayısına göre belirleyin. Kapsamdaki her vaka türü için karar vermeye yetecek kadar karşılaştırma birikene ve test, vaka dağılımını değiştiren dönemleri kapsayana kadar devam edin: bir ay sonu, bir kampanya, sezonluk bir yoğunluk. Yüksek hacimli işlerde bu çoğu zaman birkaç hafta sürer.

İki hata ters yönlere çeker. Biri, seyrek ama pahalı vaka türleri ortaya çıkmadan, genel sayı iyi göründüğü anda durmaktır. Diğeri, ayda iki kez gelen bir vaka türünü sonsuza dek beklemektir. Değerlendirilemeyecek kadar seyrek olan bir şey insanlarda kalır, geri kalanı ilerler.

Neler ölçülür?

İlk sırada vaka türüne göre uyum gelir. Yanında şunlar yer alır: sistemin üstlenmediği ya da yetkili kişiye aktardığı vakalar ve bunun doğru olup olmadığı; önem derecesine göre hatalar (yanlış bir iade tutarı ile yanlış bir etiket farklı hatalardır); gerçek hacimde yanıt süresi ve vaka başına maliyet.

Bir iade masasından temsili bir örnek: Sayılar tablonun nasıl okunacağını göstermek için seçilmiş varsayımsal değerlerdir; sonuç değildir.

Genel sonuç, 307 vakada 282, sağlıklı görünür ama önemli olan her kararı gizler. Her satır kendi yanıtını alır.

Ayrışmalar nasıl okunmalı?

Süreç sahibiyle birlikte, başta tek tek ve kimse sistemi suçlamadan önce. Ayrışmalar dört türlüdür:

1. Sistem yanıldı. Vaka değerlendirme setine eklenir ve hatanın nedeni giderilir: bir kaynak, bir kural ya da bir prompt.
2. İnsan yanıldı. Gözden kaçan bir tarih, unutulan bir madde. Bu, hata oranı hiçbir zaman sıfır olmamış mevcut süreçle ilgili bir bulgudur.
3. Politika belirsiz. İki yanıt da savunulabilir. Süreç sahibi karar verir ve kuralı yazıya döker; bir sistem, kurallarından daha tutarlı olamaz.
4. İnsan, sistemin bilmediği bir şeyi biliyordu. Bir telefon görüşmesi, başka bir sistemdeki bir not. O kaynağı sisteme bağlayın ya da bu vaka türünü insanlarda bırakın.

Ayrışma bir hüküm değil, bir sorudur.

Bir tuzağa dikkat edin: Promptları, tam da ölçtüğünüz vakalarda uyum yükselene kadar ayarlamak. Gölge vakaların bir bölümünü ayar için hiç kullanmadan kenarda tutun; yoksa sayı hiçbir şeyi öngörmez olur.

Gölge moddan destekli çalışmaya nasıl geçilir?

Her seferinde tek bir vaka türüyle ve çıkış kriterlerine göre. Yukarıdaki tabloda yalnızca ilk satır ilerler. Destekli çalışmada insanlar öneriyi ve kanıtını bir inceleme ekranında görür ve karar verir; bu yüzden ölçüler değişir: müdahale oranı, vaka başına süre ve onayın bir reflekse dönüştüğünü gösteren işaretler. Küçük bir kör örneklem tutun, yani ekranda öneri olmadan karara bağlanan vakalar; böylece bağımsız bir karşılaştırma yaşamaya devam eder.

Çalışmalar sayfamızdaki temsili İade zekası çalışması bu kalıbı izler: Pilot boyunca asistan canlı vakalarda mevcut sürecin yanında çalıştı ve kararlar her gün karşılaştırıldı. Sonuçlar daha sonra, kontrol ettiğimiz diğer koşullarla birlikte canlıya geçiş değerlendirmesine girer. Canlıya geçtikten sonra tek bir vaka türünde artan müdahale oranı, alabileceğiniz en erken uyarıdır; izleme metriklerini anlatan not bunu açıklıyor. Bir görevin onay beklemeden işlem yapmasına izin vermek ise daha sonra verilen ayrı bir karardır ve her seferinde dar kapsamlı tek bir görev için verilir.

Karşılaştırma nerede ucuza gelir?

Kararları zaten bir sistemde kayıtlı olan bir iş akışı seçin; böylece karşılaştırma verisini toplamak neredeyse hiçbir şeye mal olmaz. Pilotunuzun ilk haftadan böyle tasarlanmasını istiyorsanız, özel yapay zeka yazılımı için yürüttüğümüz Pilottan Canlıya çalışması pilotu canlı vakalarda, mevcut sürecin yanında çalıştırır. Ayrıntıları nasıl çalıştığımızı anlatan sayfada bulabilirsiniz.