Doküman asistanları neden yanlış yanıt verir ve önce nereye bakmalı?

Bir kullanıcı, doküman asistanının yemek ödeneğini yanlış söylediğini bildiriyor. İlk refleks promptu yeniden yazmak ya da daha büyük bir model denemektir. İkisi de genellikle işe başlamak için yanlış yerdir.

Doküman asistanı yanıldığında kontrol edilmeye değer son şüpheli modeldir. RAG (erişimle zenginleştirilmiş üretim) hatalarının çoğunda yanıt daha önce kaybolur: kütüphanede yürürlükten kalkmış bir sürüm, dönüştürme sırasında dağılan bir tablo, kuralla istisnası arasından bölünmüş bir pasaj, doğru paragrafı hiç bulamayan bir arama ya da yanıtlanmadan önce kullanıcıya geri sorularak netleştirilmesi gereken bir soru. Tek bir alışkanlık bunların hepsini teşhis edilebilir kılar: sistemin her yanıt için getirdiği pasajları kaydetmek. Bu kayıt olmadan ekipler promptları karanlıkta ayarlar.

Bilgi erişimi hatası, yanıt üretme hatasından nasıl ayırt edilir?

Yanlış yanıtın bilgi erişimi (retrieval) kaydını açın ve tek bir soru sorun: doğru yanıtı içeren pasaj, modele gönderilenler arasında mıydı? (Sistemin bileşenlerini iş ekipleri için RAG notu anlatıyor.)

• Hayır: bir bilgi erişimi hatası. Neden belgelerde, ayrıştırmada ya da aramadadır ve hiçbir prompt onu düzeltmez.
• Evet, ama yanıt onunla çelişiyor ya da ona bir şey ekliyor: bir yanıt üretme hatası.
• Doğru pasaj yok: bir içerik açığı. Doğru yanıt “kaynak bulunamadı” olmalıydı.

Ardından tabloya geçin.

Belgelerin kendisinde ne ters gider?

• Yürürlükten kalkmış ikiz. Eski ve yeni sürüm birlikte dizinlenmiştir; arama, sorunun ifadesine hangisi daha iyi uyuyorsa onu üste koyar. Uyarı işaretleri: eski yürürlük tarihli kaynaklar ya da aynı soruya farklı günlerde farklı yanıtlar. Çözüm: kapsamda tek bir güncel sürüm, diğerleri kapsam dışındaki bir arşivde ve arama filtresi olarak durum bilgisi.
• Sahipsiz grup. Belgelerin sahibi yoktur, bu yüzden çelişkiler çözülmeden kalır. Uyarı işareti: birbiriyle çelişen iki güncel belge ve hangisinin doğru olduğunu söyleyebilecek kimsenin olmaması. Çözüm: her grup için bir sahip; çelişkiler ona politika sorusu olarak gider.
• Eksik sayfa. Yanıt bir gelen kutusunda ya da birinin aklında durur. Uyarı işareti: aynı konuda tekrar tekrar “kaynak bulunamadı”. Çözüm: sahibi için bir içerik iş listesi (backlog). Gerisini belge temizliği kontrol listesi anlatıyor.

Temsili bir örnek: yürürlükten kalkmış seyahat politikasını alıntılayan bir asistan. Bir çalışan yurt dışındaki günlük yemek ödeneğini soruyor ve iki revizyon önce doğru olan bir tutar alıyor. Bilgi erişimi kaydı, alıntılanan pasajın İK politika kütüphanesinden değil, finans ekibinin bir klasöründeki “Seyahat politikası – final.pdf” dosyasından geldiğini gösteriyor: uzun zaman önce oraya kaydedilmiş ve klasör kapsama eklendiğinde dizinlenmiş bir kopya. Güncel politika da getirilmiş ama ikinci sıraya düşmüş, çünkü eski kopya sorunun ifadesini daha yakından tekrarlıyor. Çözüm için promptta hiçbir değişiklik gerekmedi. Finans klasöründeki kopya kapsamdan çıkarıldı ve yerine bir bağlantı kondu, yürürlükten kalkmış belgeler durum bilgisine göre filtrelendi ve soru doğru yanıtıyla birlikte değerlendirme setine eklendi. Böylece regresyon testi aynı hatanın tekrarını yakalayacak.

Ayrıştırma ve parçalara bölmede ne ters gider?

Ayrıştırma (parsing) dosyaları metne çevirir; parçalara bölme (chunking) ise metni arama için pasajlara ayırır.

• Düzleşen tablo. Bir ücret tablosu art arda dizilmiş sayılara dönüşür ve gerçek bir rakam yanlış başlığın yanına düşer. Uyarı işareti: doğru görünen tutarların yanlış kategoriye bağlanması. Çözüm: tabloları her satırda başlıkları tekrarlayarak satır satır ayrıştırın ve bir örneklemi asıllarıyla karşılaştırın.
• Sessiz tarama. Yalnızca görüntüden oluşan bir PDF’te aranacak metin yoktur. Uyarı işareti: hiç kaynak gösterilmeyen belgeler. Çözüm: Türkçe karakterler dahil, bir örneklemi gözle kontrol edilen OCR.
• Yetim kalan istisna. Sabit uzunlukta bölme, “uzun uçuşlarda business class serbesttir” cümlesini bir parçaya, “müşteriye faturalanan seyahatler hariç” ifadesini bir sonrakine koyar. Uyarı işareti: kuralı söyleyip “hariç”, “ancak” ya da “… olmadıkça” kısmını atlayan yanıtlar. Çözüm: metni belgenin kendi bölümlerine ve maddelerine göre parçalayın, başlığı her parçayla birlikte tutun ve bir madde devam ediyorsa komşu parçayı da getirin.
• Ortadaki kalıp metin. Üst bilgiler, alt bilgiler ve sayfa numaraları cümleleri ikiye böler. Çözüm: bunları parçalara bölmeden önce temizleyin.

Aramada ne ters gider?

• Kesin terim körlüğü. Anlama dayalı arama kodları, madde numaralarını ve isimleri kaçırır; hibrit arama anahtar kelime tarafını ekler.
• Kelime biçimi kaçırmaları. Belgeler ve sorgular aynı şekilde işlenmezse Türkçe ekler tek bir kelimeyi birbirinden farklı birçok dizgeye dönüştürür.
• Filtre yok. Meta veri filtreleri olmadan yürürlükten kalkmış bir belge, başka bir şirketin politikası ya da yanlış dildeki bir metin eşit şartlarda yarışır.
• Yanlış sayıda pasaj. Çok az olursa yanıt kesme noktasının hemen altında kalır; çok fazla olursa yakın ama yanlış pasajlar modelin dikkatini dağıtır. Kesme noktasındaki duyarlılığı (recall) değerlendirme setinde ölçün.
• Sorulmayan soru. Bir soru ülkeye, sözleşmeye ya da role göre farklılaşan birkaç belgeye karşılık geliyorsa tahmin yürütmek yerine hangisinin geçerli olduğunu sorun.

Yanıt yazılırken ne ters gider?

Diğerlerinden daha seyrek, ama olur:

• Yardımsever ekleme: pasajda olmayan bir ayrıntı. Çözüm: yalnızca pasajlardan yanıt verin ve her sayının, her ismin kaynakta geçtiğini kontrol edin. Ayrıntılar yapay zekanın uydurmalarını azaltmayı anlatan notta.
• Harmanlama: farklı durumlara ait iki pasajın tek bir yanıtta birleşmesi. Çözüm: her iddia için ayrı kaynak gösterin ve koşulları açıkça yazın.
• Eksik “bilmiyorum”: sistem yanıt vermemesi gerekirken yanıt verir. Çözüm: yanıt vermemeye izin verin ve bunu yanıtı olmayan sorularla test edin.
• Kaynak kayması: gerçek bir pasaj, desteklemediği bir iddia için kaynak gösterilir. Çözüm: insanlarla kalibre edilmiş otomatik bir kaynak kontrolü.

Düzeltmeler hangi sırayla yapılmalı?

Önce kütüphaneyi, sonra promptu, en son modeli düzeltin.

1. Her yanıt için bilgi erişimini kaydedin: soru, filtreler, pasajlar ve skorları.
2. Kaynakları düzeltin: sürümler, kopyalar, sahipler, eksik belgeler.
3. Ayrıştırmayı ve parçalara bölmeyi düzeltin: tablolar, taramalar, madde sınırları.
4. Aramayı düzeltin: hibrit arama, filtreler, yeniden sıralama (reranking), pasaj sayısı.
5. Ardından talimatları ve promptları ayarlayın.
6. Değerlendirme seti hâlâ bir açık gösteriyorsa ancak o zaman başka bir model deneyin.

Her düzeltmeden sonra değerlendirme setini yeniden çalıştırın ve hatalı soruyu sete ekleyin; böylece düzeltme kalıcı olur.

Son hatalar nasıl teşhis edilir?

Kullanıcıların bildirdiği en son yirmi yanlış yanıtı alın, bilgi erişimi kayıtlarını çıkarın ve her birini bilgi erişimi hatası, yanıt üretme hatası ya da içerik açığı olarak sınıflandırın. Kayıt yoksa ilk düzeltme budur. Aynı teşhis her bilgi ve doküman zekası sistemi için geçerlidir; bu katmanlardaki hataların izini sürmek ve onarmak, veri ve yapay zeka altyapısı çalışmalarımızın gündelik işidir.