Her müdahale bir derstir: yapay zekayı iyileştiren bir geri bildirim döngüsü kurmak.

Çoğu yapay zeka aracı bir beğen ve bir beğenme düğmesiyle gelir. Birkaç ay sonra biri tıklamaları dışa aktarır: yorumsuz, dağınık birkaç “beğenmedim” ve hep aynı birkaç kişiden gelen coşkulu “beğendim”ler. Buna dayanarak yapılabilecek hiçbir şey yoktur.

Bu arada işe yarar geri bildirim her gün çöpe gider. İnceleyen biri bir taslağı her düzelttiğinde ya da bir öneriyi her reddettiğinde neyin yanlış olduğunu tam olarak bilir. Bunu inceleme adımında kaydedin (neyin, neden değiştirildiğini) ve süreç sahibi her hafta gözden geçirsin; günlük düzeltmeler daha iyi kaynaklara, promptlara ve değerlendirme vakalarına dönüşür. İşleyen bir yapay zeka geri bildirim döngüsü (feedback loop) budur.

Geri bildirim düğmeleri neden nadiren bir şeyi iyileştirir?

• İsteğe bağlıdırlar. Yalnızca canı sıkılanlar ve çok memnun kalanlar tıklar; bu yüzden örneklem sıradan vakalar hakkında pek bir şey söylemez.
• Belirsizdirler. Bir iade taslağına verilen “beğenmedim”, yanlış politika, yanlış tutar ya da yanlış üslup anlamına gelebilir.
• Sahipleri yoktur. Tıklamaları okuyan bir rutin olmadığı için hiçbir şey değişmez ve insanlar bunu fark eder.
• İşin içinde değil, yanında dururlar. Asıl sinyal, bir insanın gerçekten yaptığı düzeltmedir ve düğmeler bunu kaydetmez.

Bir insanın yaptığı düzeltme, verdiği her puandan daha değerlidir.

İnceleme adımı hangi geri bildirimi kaydetmeli?

Otomatik olarak ya da tek tıkla kaydedilen üç şeyi:

• Düzeltme. Taslak ile sonunda kullanılan metin arasındaki fark.
• Neden. Her müdahale için kısa ve sabit bir listeden tek bir seçim: yanlış kaynak, eksik veri, politika değişti, üslup ya da diğer; isteğe bağlı serbest metinle birlikte.
• Bağlam. Vaka türü, gösterilen kaynaklar ve prompt ile model sürümleri.

Listeyi bir saniyede seçim yapılabilecek kadar kısa tutun ve yeni bir nedeni ancak “diğer” sürekli aynı açıklamayı toplamaya başladığında ekleyin. Bunu insanları yavaşlatmadan ekrana nasıl yerleştireceğinizi inceleme ekranı tasarımını anlatan notumuzda bulabilirsiniz.

Geri bildirimi kim, ne sıklıkla gözden geçirir?

Süreç sahibi; her hafta, deneyimli bir inceleyici ve sistemin bakımını yapan mühendisle birlikte. Genellikle bir saat yeterlidir. Rutin şöyledir:

1. Haftanın müdahalelerini nedene ve vaka türüne göre gruplayın.
2. Her gruptan bir örneklem okuyun: Sayılar nereye bakılacağını, örnekler ne olduğunu gösterir.
3. Her örüntü için karar verin: düzeltmek, izlemek ya da meşru bir takdir kararı olarak kabul etmek.
4. Doğrulanan her hatayı, kimse bir düzeltmeye el atmadan önce, düzeltilmiş yanıtıyla birlikte bir değerlendirme vakası olarak kaydedin.
5. Her düzeltme için bir sahip ve düzeltmenin geçmesi gereken değerlendirme vakalarını belirleyin.

Ekiplerin atladığı adım dördüncüsüdür. Oysa bu adım, düzeltmenin işe yaradığını kanıtlar ve sonraki bir değişikliğin hatayı sessizce geri getirmesini önler. Kabul etmek de meşru bir sonuçtur: Bazı müdahaleler, sistemin asla vermemesi gereken takdir kararlarıdır ve doğru değişiklik, bu vakaları doğrudan bir insana göndermektir.

Geri bildirim ne tür düzeltmelere yol açar?

Düzeltmelerin çoğu modelle ilgili değildir. Beş türe ayrılırlar:

• Kaynak içerik. Eskimiş ya da çelişkili bir belgeyi sahibi kaldırır ya da düzeltir.
• Bilgi erişimi. Doğru belge vardır ama bulunamaz; bu yüzden dizinleme, meta veri ya da arama ayarları değişir.
• Prompt. Talimatlar, örnekler ya da çıktı biçimi, test edilmiş yeni bir sürüm olarak değişir.
• Kurallar. Bir eşik ya da uygunluk kontrolü prompttan çıkıp koda taşınır.
• İnsanlar için eğitim. İnceleyenler ya da kullanıcılar yeni bir politikayı ya da işi yetkili kişiye aktarma yolunu kullanmayı öğrenmelidir.

Nedene en yakın düzeltmeyi tercih edin. Eskimiş bir belge için prompta yama yapmak, sorunu bir sonraki belge değişene kadar gizler.

Temsili bir örnek; sayılar varsayımsaldır: Bir iade ekibinin bir haftalık müdahaleleri, düzeltme türlerine göre ayrılmış.

Düzeltmesi olan her satır, düzeltme yayına çıkmadan önce yeni değerlendirme vakaları da üretti.

İnsanlara geri bildirimlerinin işe yaradığı nasıl gösterilir?

Onlara kısaca ve düzenli olarak söyleyin. Her gözden geçirmeden sonra ekibin çalıştığı yere kısa bir “Ne değişti?” notu bırakın: inceleyenlerin neleri işaretlediği, neyin düzeltildiği, neyin bilerek olduğu gibi bırakıldığı ve nedeni. Düzeltmeye yol açan tespitleri, tespit edenlerin adıyla anın. Bir düzeltme canlıya çıktığında bunu duyurun; böylece insanlar kendileri kontrol edebilir. İade örneğinde not şöyle olabilir: “Eski outlet politikasını kaynak gösteren yanıtları işaretlediniz. O sayfa kaldırıldı ve bu vakalar testlerimize eklendi. Tekrar alışveriş yapan müşteriler için yeni üslup örnekleri de canlıda.”

Düzeltmelerinin bir sonuca vardığını gören insanlar neden belirtmeyi sürdürür; görmeyenler bırakır. Bunu bir nezaket değil de bir rutin haline getirmek, bir aracı günlük pratiğe dönüştürmenin parçasıdır; yapay zeka eğitimi ve dönüşüm çalışmalarımızın arkasındaki iş de budur.

Döngünün işlediği nasıl anlaşılır?

• Düzelttiğiniz vaka türlerinde müdahale oranı düşer ve düşük kalır.
• Aynı neden, aynı kaynaktan yeniden ortaya çıkmaz.
• Değerlendirme seti her ay gerçek vakalarla büyür.
• Bir örüntüyü fark etmekten düzeltmesini yayına almaya kadar geçen süre kısalır.
• Müdahalelerin çoğu hâlâ bir neden taşır ve “diğer” küçük kalır.

Bir uyarı: Düşen müdahale oranı, inceleyenlerin bakmayı bıraktığı anlamına da gelebilir. Bunu, inceleyenlerin yapay zeka çıktısını neden kontrol etmeyi bıraktığını anlatan notumuzda açıklandığı gibi, cevabı bilinen vakalarla kontrol edin.

İlk haftalık gözden geçirme nasıl başlar?

Beş nedeni inceleme adımınıza ekleyin, süreç sahibiyle haftada bir saatlik bir toplantı ayırın ve ilk gözden geçirmeden sonra ilk “Ne değişti?” notunu gönderin. Aynı ritim, yani neyin değiştiğini süreç sahipleriyle gözden geçirmek ve bir sonraki iyileştirmeyi kanıta dayanarak seçmek, yapay zeka güvenilirliği hizmetimizin de temelidir.