RAG mi, ince ayar mı: kullanım senaryonuz hangisini gerektiriyor?
Bilgi erişimi modele kaynak gösterebileceği ve her gün güncelleyebileceğiniz bilgiyi verir; ince ayar ise modelin davranışını değiştirir. Çoğu kurumsal bilgi probleminde önce bilgi erişimi gerekir; ince ayar ancak değerlendirme, promptların kapatamadığı bir açık gösterdiğinde gündeme gelir.
veridive5 dk okuma
“Modeli kendi belgelerimizle eğitebilir miyiz?” sorusu birçok yapay zeka görüşmesinde daha ilk toplantılarda sorulur. Genellikle makul bir isteği anlatır: politikalarımızı, ürünlerimizi ve çalışma biçimimizi yansıtan yanıtlar istiyoruz. Eğitim, yani ince ayar (fine-tuning), buna ulaşmanın nadiren doğru yoludur.
İki teknik farklı şeyleri değiştirir. RAG (erişimle zenginleştirilmiş üretim), modelin yanıt verirken neyi görebildiğini değiştirir: onaylı belgelerinizden gelen, modelin kaynak olarak gösterebileceği ve sizin her gün güncelleyebileceğiniz pasajları. İnce ayar ise modelin nasıl davrandığını değiştirir: biçimini, üslubunu ya da dar bir görevdeki becerisini. “RAG mi, ince ayar mı?” sorusunun yanıtı, çoğu kurumsal bilgi probleminde aynıdır: önce bilgi erişimi. İnce ayar ancak değerlendirme, daha iyi promptların kapatamadığı bir açık gösterdiğinde gündeme gelir.
Her yaklaşım gerçekte neyi değiştirir?
İnce ayar, modelin eğitimini sizin girdi ve istenen çıktı örneklerinizle sürdürür. Böylece modelin ağırlıkları, yani yanıtlarını biçimlendiren iç parametreleri, o davranışa doğru kayar. Bilgi erişimi (retrieval) ise modele dokunmaz; yanıt verdiği anda ilgili pasajları önüne koyar. Bunun nasıl işlediğini iş ekipleri için RAG notu adım adım anlatıyor.
| Ölçüt | Bilgi erişimi (RAG) | İnce ayar |
|---|---|---|
| Neyi değiştirir | Modelin yanıt verirken gördüklerini | Modelin davranışını |
| Gereken veri | Sahibi belli, güncel belgeler ve erişim yetkileri | İstenen girdi ve çıktıyı tam olarak gösteren, gözden geçirilmiş çok sayıda örnek |
| Güncelleme hızı | Değişen belge yeniden dizinlenir dizinlenmez | Ancak yeni bir eğitim, değerlendirme ve yayından sonra |
| Kaynak gösterme | Her iddia kendi pasajına bağlanabilir | Yok: eğitimle yüklenen bir bilginin gösterilecek kaynağı yoktur |
| Yetkiler | Arama anında kullanıcıya göre filtrelenir | Eğitimle yüklenen her şey her kullanıcıya açıktır |
| Maliyet yapısı | Çalıştırılacak bir işlem hattı ve dizin; çağrı başına daha uzun promptlar | Veri hazırlığı ve eğitim, her değişiklikte yeniden; çağrı başına maliyeti düşürebilir |
| Başlıca riskler | Kaçırılan ya da güncelliğini yitirmiş pasajlar | Eskiyen bilgi, kendinden emin hatalar, örneklere aşırı uyum (overfitting), tek bir temel modele bağımlılık |
Bilgi erişimi ne zaman doğru yanıttır?
Sorun bilgi olduğunda: modelin eğitilmediği bilgilere ihtiyacı varsa, bu bilgiler değişiyorsa, insanların onları kontrol etmesi gerekiyorsa ya da farklı kişiler farklı şeyleri görebiliyorsa. Politikalar, prosedürler, sözleşmeler, ürün verileri ve teknik dokümantasyon bu gruba girer.
Temsili bir örnek ele alalım: birkaç şirketten oluşan bir grup için İK politika asistanı. Politikalar yılda birkaç kez değişir, şirketten şirkete farklıdır ve maaş bantları gibi bazı belgelere erişim kısıtlıdır. Bilgi erişimi üçünü de karşılar: yeni seyahat politikası yeniden dizinlendiği anda geçerli olur, her çalışan yalnızca kendi şirketinin sürümünü görür ve her yanıt kendi paragrafını kaynak gösterir. İnce ayar yapılmış bir model ise her politika değişikliğinde yeniden eğitim ister, bir yanıtın nereden geldiğini gösteremez ve maaş bantlarını herkes için bilir.
Bu durum genellenebilir. Modele eğitimle yüklenen bilgi kaynak gösteremez, bir belge değiştiği gün eskir ve belge yetkilerine uyamaz. Bunlar tekniğin doğasından gelir; daha iyi bir eğitimle giderilecek kusurlar değildir.
İnce ayar maliyetini ne zaman hak eder?
Sorun davranış olduğunda, promptla çözülemediğinde ve değerlendirme seti bunu kanıtladığında. Tipik durumlar:
- Sabit bir çıktı biçimi: birçok farklı düzende ve uç durumda bozulmaması gerekir.
- Dar ve yüksek hacimli bir görev: daha küçük, ince ayar yapılmış bir model, büyük bir modelin kalitesini daha düşük maliyet ve yanıt süresiyle yakalayabilir.
- Alana özgü üslup ya da terimler: talimatlar ve örnekler bunları tutarlı tutamıyorsa.
- Kendi kategorilerinize sınıflandırma: kategoriler çok sayıda ve aralarındaki sınırlar inceyse.
İkinci temsili vaka bu örüntüyü gösteriyor. Bir lojistik ekibi, taşıyıcı firmaların irsaliyelerinden aynı alanları çıkarıp ERP’nin kabul ettiği bir yapıya aktarıyor. Alanlar hiç değişmiyor; belge düzeni ise taşıyıcıya göre değişiyor. İyi talimatlar ve örneklerle büyük bir model belgelerin çoğunu doğru okuyor. Ama değerlendirme seti iki alanda süregelen hatalar gösteriyor ve bu hacimde belge başına maliyet yüksek. Bu, olası bir ince ayar vakasıdır: gözden geçirilmiş geçmiş çıkarımlarla eğitilen daha küçük bir model, biçimi daha düşük maliyetle daha güvenilir biçimde koruyabilir. “Olası” kelimesi önemli. Geçişe karar verilmeden önce ince ayar yapılmış model, test için ayrılmış aynı örneklerde promptla çalışan modeli geçmek zorundadır.
Daha iyi promptlar ve örnekler neden önce gelir?
Her zaman önce onlar denenir. Merdivenin üç basamağı var ve bir üst basamağa ancak değerlendirme seti, bulunduğunuz basamağın kapatamadığı bir açık gösterdiğinde çıkarsınız:
- Promptlar ve örnekler. Açık talimatlar, çıktı biçimi ve birkaç çözülmüş örnek. Denemesi en ucuz, değiştirmesi en hızlı basamak.
- Bilgi erişimi. Hatalar eksik, eskimiş ya da erişimi kısıtlı bilgiden kaynaklanıyorsa.
- İnce ayar. Kalan hatalar davranışla ilgiliyse ya da yüksek hacimdeki maliyet daha küçük, uzmanlaşmış bir modeli haklı çıkarıyorsa.
Her basamak, savunabileceğiniz bir cümleyle gelmeli: bu basamakta hangi vakalar başarısız oluyor, bir sonraki basamak onları neden düzeltir ve bunu nasıl anlayacaksınız? İlk basamağı atlarsanız, daha iyi bir promptun bir öğleden sonrada çözeceği bir sorun için eğitim projesine girişme riskini alırsınız.
İnce ayar modelin nasıl davrandığını değiştirir. Bilgi erişimi ise yanıt verirken ne bildiğini.
Her yaklaşım ne kadar veri, emek ve bakım ister?
- Prompt yazımı bir değerlendirme seti ve sürüm kontrolünde tutulan promptlar ister. Bakım: model ya da görev değiştiğinde seti yeniden çalıştırmak.
- Bilgi erişimi bir belge işleme hattı, bir dizin, yetki senkronizasyonu ve meta veri ister. Bakım çoğunlukla içerikle ilgilidir: sahiplerin eski sürümleri kaldırıp yenilerini eklemesi.
- İnce ayar insanların gözden geçirdiği ve değerlendirme setinden ayrı tutulan eğitim örnekleri, bir eğitim altyapısı ya da sağlayıcının ince ayar hizmeti ve sürümlenmiş model dosyaları ister. Bakım: görev değiştiğinde ya da temel model kullanımdan kalktığında yeniden eğitim; ince ayar yapılmış modeli kendiniz çalıştırıyorsanız bir de barındırma. Bu ayrı bir karardır; kendi modelinizi çalıştırmak ile bir API kullanmak arasındaki seçimi anlatan notta ele alınıyor.
Kanıta dayanarak nasıl karar verilir?
- Değerlendirme setini kurun: onaylı yanıtları olan gerçek vakalardan.
- Yalnızca promptla çalışan temel sürümü deneyin ve hatalarını ikiye ayırın: bilgi hataları (eksik ya da eskimiş bilgiler) ve davranış hataları (biçim, üslup, tutarlılık).
- Çözümü hataya göre seçin: bilgi için bilgi erişimi; davranış için önce promptlar, sonra ince ayar.
- Setin test için ayrılmış kısmında karşılaştırın: kalite, vaka başına maliyet, hız ve üstleneceğiniz bakım yükü.
- Kararı ve onu yeniden açtıracak durumları yazın: yeni bir temel model ya da hacimde bir değişiklik gibi.
Bilgi mi, davranış mı?
Bilgi problemi: bilgi erişimi. Davranış problemi: önce promptlar, değerlendirme seti gerektiğini kanıtlarsa ince ayar. Veri ve yapay zeka altyapısı çalışmamızda değerlendirme setini kurar ve adayları kendi örneklerinizde karşılaştırırız. Bilgi erişiminin en çok iş gördüğü alan ise bilgi ve doküman zekası.
Kaynaklar
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al.) arXiv arxiv.org/abs/2005.11401
Bu notu bir yapay zeka asistanına sorun