# Gölge mod: yapay zekayı canlı işte, hiçbir şeyi riske atmadan test etmek.

> Bu saha notunda veridive, gölge modu anlatıyor: Bir yapay zeka sistemi canlı vakalarda çalışırken ekip her zamanki gibi işine devam eder, ardından sistemin önerileri ekibin kararlarıyla karşılaştırılır. Not, önce nelerin hazır olması gerektiğini, testin süresini, uyumun vaka türüne göre ölçülmesini, ayrışmaların süreç sahibiyle okunmasını ve destekli çalışmaya geçişi ele alıyor.

Ekip her zamanki gibi çalışırken sistemi gerçek vakalarda çalıştırın, önerilerini ekibin verdiği kararlarla karşılaştırın ve neyin ilerleyeceğine vaka türüne göre uyum oranı karar versin. Dürüst testlerin en ucuzu budur.

## Öne çıkanlar

- Gölge modda sistem canlı vakalarda çalışır, ekip her zamanki gibi işine devam eder; sistemin önerisine göre kimse işlem yapmaz.
- İnsanlar çıktıyı görmesin; her öneriyi sürüm bilgileriyle kaydedin ve canlı vakalar akmadan önce veri korumayı kontrol edin.
- Uyumu vaka türüne göre raporlayın, ayrışmaları süreç sahibiyle inceleyin: Bazıları insan hatasıdır ya da belirsiz bir politikadan doğar.
- Destekli çalışmaya her seferinde tek bir vaka türüyle, gölge test başlamadan yazılan çıkış kriterlerine göre geçin.

Birkaç hafta boyunca sistem, ekibe gelen her iade talebini okur ve kendisi olsa ne karar vereceğini not eder. Yanıtlarını kimse görmez; ekip tam olarak eskisi gibi çalışır. Her gün biri, iki karar listesini yan yana koyar.

Gölge mod (shadow mode) testi tam olarak budur: Sistem canlı iş üzerinde, mevcut süreçle paralel çalışır ve önerdiği hiçbir şey bir müşteriye ya da bir kayda ulaşmaz. Bu, dürüst testlerin en ucuzudur. Bir örneklem yerine gerçek vaka dağılımını kullanır, operasyonel risk taşımaz ve kimse sisteme güvenmeden önce karar vermek için gereken sayıyı üretir: Sistem, işi yapan insanlarla vaka türüne göre ne sıklıkta aynı kararı veriyor?

## Gölge mod nedir, ne işe yarar?

Gölge mod, bir kavram kanıtının (PoC) yanıtlayamayacağı bir soruyu yanıtlar: Sistem, değerlendirme setine koymak kimsenin aklına gelmeyen vakalar dahil, gerçekte gelen her şeyde ayakta kalıyor mu? Gerçek hacimde altyapıyı da sınar: entegrasyonları, yanıt sürelerini ve vaka başına maliyeti. [Kavram kanıtından farklı olarak gerçek bir pilotta](https://veridive.com/tr/saha-notlari/kavram-kaniti-pilot-mvp-farki/) ilk adım genellikle budur.

İşe yaramasını sağlayan disiplin basittir: Saf gölge modda insanlar çıktıyı görmez. Bir öneri ekrana geldiği anda kararlar ona doğru kaymaya başlar ve uyum bağımsız bir ölçü olmaktan çıkar. Aynı nedenle gölge mod, insanların çıktıyla nasıl çalışacağını ya da inceleme ekranının işe yarayıp yaramadığını söyleyemez. Bunu daha sonra destekli çalışma sınar.

## Başlamadan önce neler hazır olmalı?

- **Geçmiş vakalarda başarı.** Sistem değerlendirme setinde çıtayı geçmiştir. Gölge mod, sistemin belgeleri okuyamadığını keşfetmenin yeri değildir.
- **Salt okunur erişim.** Sistem canlı girdileri okur ve hiçbir yere yazmaz: ne kayıtlara ne e-postalara ne de müşterilere.
- **Kayıt tutma.** Her vaka için tek bir kayıt tutulur: girdi, kanıtı ve güven düzeyiyle birlikte öneri, model, prompt ve kaynak sürümleri, insanın kararı, zaman damgaları ve vaka türü. Sürümler olmadan sayıları hangi değişikliğin oynattığını anlayamazsınız.
- **Veri koruma kontrolü.** Canlı vakalar genellikle kişisel veri içerir; bu veriyi yeni bir sistem işleyecektir, belki de yeni bir yerde. İlk vaka akmadan önce veri koruma görevlinize (DPO) hukuki sebebi, işleme yerini, kayıtların ne kadar saklanacağını ve kimlerin okuyabileceğini sorun.
- **Vaka türleri ve eşleşme kuralları.** Vakaların nasıl gruplanacağı ve neyin uyum sayılacağı konusunda süreç sahibiyle anlaşın: örneğin aynı kategori ya da belirlenen tolerans içinde kalan bir tutar.
- **Yazılı çıkış kriterleri.** Hangi vaka türünde hangi uyumun bir sonraki adıma geçireceği ve testi neyin durduracağı.

İş bittiğinde, her vaka için otomatik olarak toplanmış eksiksiz bir kayıt olur. Sık yapılan hata, sistemin yanıtını insanın kararı olmadan kaydetmektir; bu da her karşılaştırmayı elle yürütülen bir projeye dönüştürür.

## Gölge mod testi ne kadar sürmeli?

Süreyi takvime göre değil, vaka sayısına göre belirleyin. Kapsamdaki her vaka türü için karar vermeye yetecek kadar karşılaştırma birikene ve test, vaka dağılımını değiştiren dönemleri kapsayana kadar devam edin: bir ay sonu, bir kampanya, sezonluk bir yoğunluk. Yüksek hacimli işlerde bu çoğu zaman birkaç hafta sürer.

İki hata ters yönlere çeker. Biri, seyrek ama pahalı vaka türleri ortaya çıkmadan, genel sayı iyi göründüğü anda durmaktır. Diğeri, ayda iki kez gelen bir vaka türünü sonsuza dek beklemektir. Değerlendirilemeyecek kadar seyrek olan bir şey insanlarda kalır, geri kalanı ilerler.

## Neler ölçülür?

İlk sırada vaka türüne göre uyum gelir. Yanında şunlar yer alır: sistemin üstlenmediği ya da yetkili kişiye aktardığı vakalar ve bunun doğru olup olmadığı; önem derecesine göre hatalar (yanlış bir iade tutarı ile yanlış bir etiket farklı hatalardır); gerçek hacimde yanıt süresi ve vaka başına maliyet.

Bir iade masasından temsili bir örnek: Sayılar tablonun nasıl okunacağını göstermek için seçilmiş varsayımsal değerlerdir; sonuç değildir.

| Vaka türü | Uyum | Ayrışmaların çoğu | Sonraki adım |
|---|---|---|---|
| Açılmamış, iade süresi içinde | 180 vakada 176 | Personelin tarih hataları | Destekli çalışmaya geçer |
| Hasarlı ulaştı, fotoğraf ekli | 90 vakada 78 | Sistem bulanık fotoğrafları kabul etti | Fotoğraf kalitesi kontrolü eklenir; gölge modda kalır |
| Eksik parça | 25 vakada 17 | Politikada kısmi iadeye dair hüküm yok | Süreç sahibi politikayı netleştirir; test yeniden çalıştırılır |
| Yüksek tutarlı ya da tekrarlanan iadeler | 12 vakada 11 | Karar için vaka sayısı çok az | İnsanlarda kalır |

Genel sonuç, 307 vakada 282, sağlıklı görünür ama önemli olan her kararı gizler. Her satır kendi yanıtını alır.

## Ayrışmalar nasıl okunmalı?

Süreç sahibiyle birlikte, başta tek tek ve kimse sistemi suçlamadan önce. Ayrışmalar dört türlüdür:

1. **Sistem yanıldı.** Vaka değerlendirme setine eklenir ve hatanın nedeni giderilir: bir kaynak, bir kural ya da bir prompt.
2. **İnsan yanıldı.** Gözden kaçan bir tarih, unutulan bir madde. Bu, hata oranı hiçbir zaman sıfır olmamış mevcut süreçle ilgili bir bulgudur.
3. **Politika belirsiz.** İki yanıt da savunulabilir. Süreç sahibi karar verir ve kuralı yazıya döker; bir sistem, kurallarından daha tutarlı olamaz.
4. **İnsan, sistemin bilmediği bir şeyi biliyordu.** Bir telefon görüşmesi, başka bir sistemdeki bir not. O kaynağı sisteme bağlayın ya da bu vaka türünü insanlarda bırakın.

> Ayrışma bir hüküm değil, bir sorudur.

Bir tuzağa dikkat edin: Promptları, tam da ölçtüğünüz vakalarda uyum yükselene kadar ayarlamak. Gölge vakaların bir bölümünü ayar için hiç kullanmadan kenarda tutun; yoksa sayı hiçbir şeyi öngörmez olur.

## Gölge moddan destekli çalışmaya nasıl geçilir?

Her seferinde tek bir vaka türüyle ve çıkış kriterlerine göre. Yukarıdaki tabloda yalnızca ilk satır ilerler. Destekli çalışmada insanlar öneriyi ve kanıtını bir inceleme ekranında görür ve karar verir; bu yüzden ölçüler değişir: müdahale oranı, vaka başına süre ve onayın bir reflekse dönüştüğünü gösteren işaretler. Küçük bir kör örneklem tutun, yani ekranda öneri olmadan karara bağlanan vakalar; böylece bağımsız bir karşılaştırma yaşamaya devam eder.

Çalışmalar sayfamızdaki temsili [İade zekası çalışması](https://veridive.com/tr/calismalar/iade-zekasi/) bu kalıbı izler: Pilot boyunca asistan canlı vakalarda mevcut sürecin yanında çalıştı ve kararlar her gün karşılaştırıldı. Sonuçlar daha sonra, [kontrol ettiğimiz diğer koşullarla](https://veridive.com/tr/nasil-calisiyoruz/#checklist) birlikte canlıya geçiş değerlendirmesine girer. Canlıya geçtikten sonra tek bir vaka türünde artan müdahale oranı, alabileceğiniz en erken uyarıdır; [izleme metriklerini anlatan not](https://veridive.com/tr/saha-notlari/llm-izleme-metrikleri/) bunu açıklıyor. Bir görevin onay beklemeden işlem yapmasına izin vermek ise daha sonra verilen ayrı bir karardır ve [her seferinde dar kapsamlı tek bir görev için](https://veridive.com/tr/saha-notlari/yapay-zeka-ajani-ozerkligi/) verilir.

## Karşılaştırma nerede ucuza gelir?

Kararları zaten bir sistemde kayıtlı olan bir iş akışı seçin; böylece karşılaştırma verisini toplamak neredeyse hiçbir şeye mal olmaz. Pilotunuzun ilk haftadan böyle tasarlanmasını istiyorsanız, [özel yapay zeka yazılımı](https://veridive.com/tr/hizmetler/ozel-yapay-zeka-yazilimi/) için yürüttüğümüz Pilottan Canlıya çalışması pilotu canlı vakalarda, mevcut sürecin yanında çalıştırır. Ayrıntıları [nasıl çalıştığımızı anlatan sayfada](https://veridive.com/tr/nasil-calisiyoruz/) bulabilirsiniz.

## Sık sorulan sorular

### Yapay zeka testinde gölge mod nedir?

Gölge mod, bir yapay zeka sisteminin canlı vakaları mevcut süreçle paralel olarak işlediği bir testtir. Bu sırada insanlar her zamanki gibi çalışır ve sistemin çıktısına göre kimse işlem yapmaz. Sistemin önerileri kaydedilir ve vaka türlerine ayrılarak insanların gerçekte verdiği kararlarla karşılaştırılır. Böylece sistemin nerede yardıma hazır olduğu, nerede olmadığı görülür.

### Gölge mod testi ne kadar sürmeli?

Kapsamdaki her vaka türü için karar vermeye yetecek kadar karşılaştırma birikene ve test, vaka dağılımını değiştiren dönemleri (örneğin bir ay sonunu ya da bir kampanyayı) kapsayana kadar. Yüksek hacimli işlerde bu çoğu zaman birkaç hafta sürer. Makul sürede değerlendirilemeyecek kadar seyrek vaka türleri, geri kalanını bekletmek yerine insanlarda kalır.

### Gölge modda uyum oranı ne demek?

Sistemin önerisinin, bir insanın bağımsız olarak verdiği kararla örtüştüğü vakaların payıdır. Örtüşme, önceden anlaşılan bir kurala göre belirlenir: aynı kategori ya da belirlenen tolerans içinde kalan bir tutar gibi. Bu oran ancak insanlar öneriyi görmemişse anlamlıdır ve tek bir ortalama olarak değil, vaka türüne göre raporlanmalıdır.