Kanıtıyla gelen yanıtlar: iş yerinde kaynak göstermek neden önemli?

Başlangıçta veridive, videolarda, podcast’lerde ve derslerde konuşulanlar için bir yanıt motoruydu. Bir soru sorardınız; YouTube videolarında, podcast’lerde, derslerde ve söyleşilerde canlı arama yapar ve her kaynağın tam saniyesini göstererek yanıt verirdi. Zaman damgası, yanıtın kendisi kadar önemliydi. Tek bir tıklamayla iddiayı konuşmacının kendi sözleriyle, bağlamı içinde dinleyebilir ve kararınızı kendiniz verebilirdiniz.

Bu ürünü geliştirmek bize, kurumlar için kurduğumuz her sistemde uyguladığımız bir şeyi öğretti: insanlar kontrol edebildikleri yanıtlara güvenir. Kaynak gösteren yapay zeka yanıtları bu yüzden iş hayatında, açık internette olduğundan da önemlidir; çünkü yanıtlar kararlara yol açar, kararların da sahipleri vardır.

Yanıt motoru bize ne öğretti?

Onu geliştirirken çıkardığımız üç ders, müşterilerimiz için sistemleri nasıl kurduğumuzu şekillendirdi.

1. Kaynak, yanıtın bir parçasıdır. Meraklılar için bir dipnot değildir. Yanıt ve kanıtı aynı ekranda, aynı anda yer almalıdır.
2. Kesinlik, hacimden üstündür. Dört saatlik bir kaydın tamamını göstermek, hiç kaynak göstermemekten pek farklı değildir. İddianın dile getirildiği saniyeyi göstermek ise insanların onunla yapabileceklerini değiştirir.
3. Kaynaklar muhakeme ister. Her kaynak eşit ağırlığı hak etmez. Hangi kaynakların sayılacağına, hangilerinin sayılmayacağına karar vermek, bilginin sahibi olan kişilere ait bir tasarım kararıdır.

Kontrol neden hızlı olmalı?

Doğrulamak, işi baştan yapmaktan uzun sürüyorsa kimse bir yanıtı doğrulamaz. Altmış sayfalık bir politikayı gösteren bir kaynak teknik olarak kaynaktır, pratikte işe yaramaz. Cümleyi alıntılayarak tek bir paragrafı gösteren bir kaynağı doğrulamak ise saniyeler sürer. Yanıt motorunda bu, bir videoya verilen bağlantı ile videodaki o ana verilen bağlantı arasındaki farktı.

Kontrolün hızı davranışı değiştirir. Kontrol hızlıysa inceleyenler gerçekten kontrol eder, hatalar yakalanır ve güven umuda değil kanıta dayanarak büyür. Kontrol yavaşsa insanlar ya sistemi kullanmayı bırakır ya da daha kötüsü, kontrol etmeyi bırakıp ona körü körüne güvenmeye başlar.

İyi bir kaynak gösterimi nasıl olmalı?

• Tam yeri gösterir. Yalnızca belgeyi değil; paragrafı, tablo satırını, maddeyi ya da kayıttaki saniyeyi.
• Sözleri alıntılar. Kısa bir alıntı, okuyanın hiçbir şey açmadan iddiayı doğrulamasını sağlar.
• Hangi sürüm olduğunu gösterir. Politikalar değişir. Kaynak, belgenin tarihini ya da sürümünü göstermeli ki kimse eskimiş bir kurala dayanmasın.
• Yetkilere uyar. İnsanlara yalnızca açmaya yetkili oldukları kaynaklar gösterilir.
• Tek bir iddiayı destekler. Önemli her ifadenin, sonda bir belge listesi yerine kendi kaynağı olur.

İnsanlar kontrol edebildikleri yanıtlara güvenir.

Kaynak olmadığında ne olmalı?

Sistem bunu söylemelidir. Hiçbir onaylı kaynak bir yanıtı desteklemiyorsa dürüst yanıt “Bunu erişebildiğim belgelerde bulamadım” demek, ardından bulunan en yakın bölümleri göstermek ve kime sorulabileceğini önermektir. Bu yanıt bir demoda daha az etkileyicidir. Günlük kullanımda ise arkasında hiçbir şey olmayan kendinden emin bir paragraftan daha değerlidir, çünkü insanlara tam olarak ne zaman dikkatli olmaları gerektiğini söyler.

“Kaynak bulunamadı” durumunu tasarlamak, bilgi bankasındaki boşlukları da gösterir. Yanıtlanamayan her soru içerik sahibi için bir nottur: insanların ihtiyaç duyduğu ama henüz kimsenin yazıya dökmediği bir şey. Bu tasarım daha ince bir riske karşı da korur: büyük ölçüde doğru olup tek bir uydurma ayrıntı içeren bir yanıtı fark etmek, açıkça yanlış olan bir yanıtı fark etmekten çok daha zordur.

Kaynak göstermek incelemeyi nasıl değiştirir?

Kaynak olmadan bir yapay zeka yanıtını incelemek, araştırmayı yeniden yapmak demektir. Kaynakla birlikte inceleyen kişi kanıtı kontrol eder: bu bölüm, yanıtın iddia ettiğini söylüyor mu? Bu daha hızlıdır ve farklı türden bir hatayı yakalar. İddiasını desteklemeyen bir kaynak, yanıt doğru gibi görünse bile görünür bir uyarı işaretidir.

Kaynaklar sonradan da işe yarar. Bir karar haftalar sonra sorgulandığında kayıt, sistemin ne söylediğini, hangi kaynağa dayandığını ve kimin onayladığını gösterir. Hesap verebilirlik, hatıraları yeniden kurmak değil, kayda bakmak meselesi olur.

Kaynakların doğru olduğunu nasıl anlarsınız?

Yanıt kalitesini ölçer gibi onları da ölçün. Değerlendirme setindeki her örnek için iki şeyi kontrol edin: yanıt doğru mu ve gösterilen bölüm onu gerçekten destekliyor mu? İkinci kontrol önemlidir, çünkü bir sistem yanlış bir nedenle doğru olabilir ya da biraz farklı bir şey söyleyen gerçek bir belgeyi kaynak gösterebilir. Kaynağının yanıtı tam olarak desteklediği yanıtların payını izleyin, her hafta bir örneklemi elle inceleyin ve desteklemeyen bir kaynağı yanlış bir yanıt kadar ciddiye alın.

Ses ve videoda ne değişir?

Çağrılar, toplantılar ve eğitim videoları da aynı disiplini, iki eklemeyle birlikte ister. Dökümler zaman damgalarını ve konuşmacı etiketlerini korumalı; böylece her iddia, söylendiği ana ve onu söyleyen kişiye bağlanır. Oynatma bağlantısı da kaydı dinleme yetkisi olan kişiler için tam o anda açılmalıdır. Saklama süresi burada daha da önemlidir: kayıtların ve dökümlerin ne kadar süre saklanacağını ve nerede işleneceğini en baştan kararlaştırın.

Videolarda öğrenilen ilke iş gününde nasıl uygulanır?

Aynı ilke, bilginin bulunduğu her yerde geçerlidir. Ses ve toplantı zekasında bir satış görüşmesine dair bulgu, gerçekleştiği tam saniyeye bağlanır. Bilgi ve doküman zekasında bir sözleşmeyle ilgili yanıt, dayandığı maddeyi alıntılar. Ortam değişir. Kural değişmez: her yanıt kanıtıyla gelmelidir. Ekibiniz “bu rakam nereden geliyor?” diye zaten soruyorsa yolun yarısındasınız.