Bir token’ın maliyeti ile bir hatanın maliyeti.

Model fiyatları hızla düştü ve düşmeye devam ediyor. Bu iyi bir haber; ama bir alışkanlığı da beraberinde getirdi: yapay zeka seçeneklerini token fiyatına ya da işe yarar görünen en ucuz modele göre karşılaştırmak. Token fiyatı önemlidir. Ancak çoğu iş akışında küçük olan rakam odur. Büyük olan rakam, bir hatanın maliyetidir.

Tamamlanan her görevin iki fiyatı vardır: yapmanın maliyeti ve ters gittiğinde ödenen bedel. Yapay zeka hata maliyeti modelin büyüklüğüne bakmaz: yanlış yapılan bir para iadesi, onu ister büyük bir model onaylasın ister küçük bir model, aynı tutara mal olur.

Bir görev gerçekte kaça mal olur?

Model çağrısını değil, tamamlanmış görevi fiyatlandırarak başlayın. Bir görevin maliyetinin nasıl ölçüleceğini LLM işletme maliyetlerini tahmin etme notunda anlatıyoruz. Görev başına maliyet şunları içerir:

• Model kullanımı: görevin gerektirdiği her çağrının token’ları; tekrar denemeler ve görevin etrafındaki bilgi erişimi adımları dahil.
• Altyapı: barındırma, depolama, arama dizinleri ve şirket içi kurulumlarda sunucuların kendisi.
• İnsan incelemesi: bir kişinin çıktıyı kontrol etmek, düzeltmek ya da onaylamak için harcadığı dakikalar. Çoğu zaman en büyük kalem budur.
• Geliştirme ve bakım: sistemi geliştirme, entegre etme, izleme ve iyileştirme maliyetinden, işlediği görevlere yayılan makul bir pay.

Böyle ölçüldüğünde ucuz bir modelle pahalı bir model arasındaki fark, inceleme süresinin yanında bazen yuvarlama farkı kadar kalır. Biraz daha pahalı ama taslakları daha az düzeltme isteyen bir model, toplamda daha ucuz sistem olabilir.

Bir yapay zeka hatası kaça mal olur?

Ardından hataları, iş akışının sahibiyle birlikte fiyatlandırın. Her hata aynı değildir; bu yüzden önemli olan türleri listeleyin:

• Yeniden işleme: biri hatayı fark eder ve düzeltir. Maliyet, o kişinin zamanıdır.
• Doğrudan kayıp: yapılmaması gereken bir para iadesi, iki kez uygulanan bir indirim, mükerrer gönderilen bir sipariş.
• Müşteri etkisi: müşterinin yeniden iletişime geçmesine, şikayet etmesine ya da kaybedilmesine yol açan yanlış bir yanıt.
• Uyum riski: politikayla ya da mevzuatla çelişen bir tavsiye veya yanlış kişiye gösterilen veri.
• Kaybedilen güven: sistem insanları bir kez zor duruma düşürdüğünde onu kullanmayı bırakırlar; yatırımın geri dönüşü de sessizce durur.

Kaba aralıklar yeterlidir. Amaç kesinlik değil, bir hatanın maliyetini token maliyetiyle aynı konuşmada ele almaktır.

En ucuz model her zaman en ucuz sistem değildir.

Hesap bir örnekte nasıl işler?

Temsili bir iş akışı ele alalım. Sayılar hesabı göstermek için seçilmiş varsayımsal değerlerdir ve birimler temsilidir; fiyat ya da kıyaslama değildir.

Her vaka, maliyeti 2 birim olan hızlı bir insan kontrolünden geçer; gözden kaçan bir hatayı düzeltmek 50 birime mal olur. Her yüz vakanın yetmişi rutin, otuzu zordur. Üç tasarımı aynı değerlendirme setiyle karşılaştırıyoruz.

• Yalnızca küçük model. Vaka başına model maliyeti 0,1. Rutin vakalarda 1, zor vakalarda 9 hata yapar: her 100 vakada 10. Vaka başına beklenen maliyet: model için 0,1, hatalar için 5, inceleme için 2; toplam 7,1 birim.
• Yalnızca büyük model. Vaka başına model maliyeti 1. Rutin vakalarda 1, zor vakalarda 3 hata yapar: her 100 vakada 4. Beklenen maliyet: 1 + 2 + 2 = 5 birim.
• Yönlendirme. Rutin vakaları küçük model, zor vakaları büyük model alır. Hatalar her 100 vakada 4’te kalır, ama ortalama model maliyeti 0,37’ye düşer. Beklenen maliyet: yaklaşık 4,4 birim.

Bu örnekte token’ları en ucuz olan model en pahalı sistemi ortaya çıkarıyor; yönlendirme ise tek modelli iki tasarımı da geride bırakıyor. Bir adım daha çoğu zaman işe yarar: büyük modelin bile emin olmadığı vakaları, kanıtları hazırlanmış olarak bir insana gönderin. Kalan hataların çoğu bu vakalardaysa, birkaç dakikalık inceleme önlediği hatalardan daha ucuza gelir.

Bu sayılar nereden gelir?

Yalnızca bir tedarikçinin fiyat listesinden değil. Hata oranları değerlendirme setinden gelir: iş akışınızdan alınan ve uzmanların onayladığı yanıtları olan gerçek vakalar, her tasarımdan geçirilir. Görev başına maliyet, insanların incelemeye gerçekte harcadığı dakikalar da dahil olmak üzere bir pilotun ölçülmesinden gelir. Her hata türünün maliyetini ise süreç sahibi ve finans ekibi, benzer hataların bugün neye mal olduğuna bakarak belirler. Bunların hiçbirinin mükemmel olması gerekmez. Ama iş gerekçesinin kontrol edilip güncellenebilmesi için yazıya dökülmeleri gerekir.

Bugünkü süreç kaça mal oluyor?

Adil karşılaştırma, bir yapay zeka tasarımını sıfırla kıyaslamak değildir. Onu işin bugün yürüdüğü biçimle kıyaslamaktır. Mevcut sürecin de vaka başına bir maliyeti (çoğunlukla insanların zamanı) ve bir hata oranı vardır; bu oran nadiren sıfırdır ve çoğu zaman ölçülmemiştir. Bu yüzden geliştirmeye başlamadan önce başlangıç ölçümünü kayda geçiririz. Bir yapay zeka tasarımı, hatalar dahil toplam maliyeti başlangıç ölçümünün değişikliğe değecek kadar altında kaldığında yerini hak eder.

Yönlendirme neden çoğu zaman kazanır?

Yönlendirme her vakayı, onu güvenilir biçimde çözebilecek en ucuz seçeneğe gönderir. İşe yarar, çünkü vakalar eşit derecede zor değildir: çoğu iş akışında işin büyük kısmı rutindir; zor ya da riskli vakalar daha küçük bir grup oluşturur.

• Rutin ve düşük riskli vakalar küçük ve hızlı bir modele gider.
• Daha zor vakalar ya da küçük modelin düşük güven bildirdiği vakalar daha büyük bir modele gider.
• Yüksek riskli vakalar ve iki modelin de emin olmadığı vakalar, iş hazırlanmış olarak bir insana gider.

Eşikler sezgiyle değil, değerlendirme setiyle belirlenir ve canlıya geçtikten sonra yeniden kontrol edilir. Vakaların çoğunda küçük bir modele, geri kalanında bir insana çoğu zaman böyle varırız.

Karşılaştırma ne zaman yenilenmeli?

Girdiler değişir. Fiyatlar düşer, hacimler büyür, yeni modeller çıkar; bir iş akışı daha çok müşteriye ulaştığında bir hatanın maliyeti de artabilir. Bunlardan biri değiştiğinde karşılaştırmayı yeniden yapın; hiçbiri değişmese de en az üç ayda bir. Fatura yükseldiğinde maliyetleri kaliteden ödün vermeden düşürün. Görev başına maliyeti ve hata oranlarını yan yana izleyin, uyarıları olan aylık bir maliyet tavanı belirleyin ve ikisinden birindeki ani sıçramayı yeniden bakmak için bir neden sayın.

Her yapay zeka iş gerekçesine hangi sorular sorulmalı?

• Tamamlanmış tek bir görev, insan incelemesi dahil kaça mal oluyor?
• Her hata türü kaça mal oluyor ve bedelini kim ödüyor?
• Bir kıyaslama testinde değil, kendi örneklerimizde hata oranı ne?
• Hangi vakaları daha küçük bir model üstlenebilir, hangileri bir insan gerektirir?
• Hesabı ne zaman yeniden yapacağız?

Bu sorulara yanıt veren bir iş gerekçesi onaylanmaya değer. Yalnızca token fiyatını aktaran bir iş gerekçesi ise henüz bitmemiştir.