İlk fatura gelmeden LLM işletme maliyetleri nasıl tahmin edilir?

Bir pilotun model faturası genellikle görmezden gelinecek kadar küçüktür; canlı kullanım faturalarının insanları şaşırtmasının nedeni de tam olarak budur. Pilot birkaç yüz kolay vakayla çalıştı. Canlı kullanım ise uzun vakalar, tekrar denemeler ve ay sonu yoğunluğu dahil her vakayla çalışır.

İyi bir LLM maliyet tahmini fiyat listesinden değil, görevden başlar. Görev başına çağrıları, çağrı başına token’ları, tekrar denemeleri ve inceleme dakikalarını pilotta ölçün; bunları tam hacme ve yoğun dönemlere taşıyın ve canlıya geçmeden önce uyarıları olan bir tavan belirleyin. Aşağıda altı adımı, her birinin ne zaman bitmiş sayılacağını ve genellikle nerede hata yapıldığını bulacaksınız.

Tek bir görevin maliyetine neler girer?

Fiyat listesinden değil, görevden yola çıkarak tahmin edin.

Görev, tamamlanmış tek bir iş birimidir: taslağı hazırlanan bir fatura, yanıtlanan bir destek talebi. Nadiren tek bir model çağrısı anlamına gelir. Tipik bir akış girdiyi sınıflandırır, bağlamı getirir, taslak hazırlar, taslağı kontrol eder ve bazen yeniden dener. Token’ın ne olduğunu anlatan notumuzda açıkladığımız gibi, her adımın kendi girdi ve çıktı token’ları vardır.

Bu yüzden akışı içindeki her çağrıyla birlikte yazın: bilgi erişiminin arkasındaki embedding (metnin anlamını sayılarla temsil eden vektör) çağrısı, çıktıyı kontrol eden doğrulayıcı, daha büyük bir modele geçen yedek yol ve her çağrıda yeniden gönderilen talimatlar.

• İş bittiğinde: her adım ve her çağrı, kullandığı modelle birlikte listelenmiştir.
• Sık yapılan hata: yalnızca ana çağrıyı sayıp bilgi erişimini, doğrulamayı ve tekrar denemeleri unutmak.

Pilot sırasında token’lar ve çağrılar nasıl ölçülür?

Kullanımı kelime sayılarından değil, API yanıtlarından kaydedin. Sağlayıcılar her istek için girdi ve çıktı token’larını bildirir; her kaydı vaka numarası, adım ve dille etiketleyin, tekrar denemeleri de nedenleriyle birlikte saklayın.

Özenle seçilmiş bir set üzerinde değil, vakaların gerçek dağılımı üzerinde ölçün. Kelime başına token sayısı dile ve modele göre değişir; bu yüzden bir oran varsaymak yerine gerçek Türkçe ve İngilizce metinleri ölçün. Aynı vaka bir dilde diğerine göre belirgin biçimde daha fazla token tutabilir. İnceleme dakikalarını da kaydedin: vakanın inceleme ekranında açılmasından onaylanmasına kadar.

• İş bittiğinde: elinizde tek bir ortalama değil, adım ve dil başına tipik ve uzun vaka rakamları vardır.
• Sık yapılan hata: kısa demo vakalarını ya da canlıda kullanacağınızdan farklı bir modeli ölçmek. Seçim henüz açıksa adayları, model seçimi çalışmalarımızda olduğu gibi aynı değerlendirme setiyle karşılaştırın.

Tam hacim ve yoğun dönemler nasıl öngörülür?

Aylık hacmi pilottan değil, işin kaydedildiği asıl sistemden alın ve insanlar sisteme güvendikçe gelecek büyümeyi ekleyin. Sonra yoğun dönemleri bulun: ay sonu kapanışı, kampanya haftaları, bayram ve yılbaşı sonrasındaki iade dönemi. Her birini bir yoğunluk katsayısıyla ifade edin: en yoğun dönemin ortalama bir döneme oranı.

Bütçeyi en yoğun aya göre yapın; kapasiteyi ve sağlayıcının istek sınırlarını (rate limit) en yoğun güne göre planlayın. Yoğun dönemdeki vaka dağılımını da kontrol edin: ay sonu faturaları ve bayram sonrası iadeler çoğu zaman ortalama vakadan daha uzun ve daha dağınıktır.

• İş bittiğinde: tahminde ortalama bir ay, en yoğun ay ve en yoğun gün yer alır.
• Sık yapılan hata: pilot ayını tipik saymak ya da yoğun dönemlerin yalnızca hacmi değil vaka dağılımını da değiştirdiğini unutmak.

Model faturasının dışında hangi maliyetler var?

Model faturası yalnızca bir kalemdir. Diğerleri:

• İnceleme süresi, çoğu zaman en büyüğü: vaka başına dakika çarpı hacim çarpı o ekibin bir saatinin maliyeti.
• Altyapı: barındırma, arama dizini, depolama, kayıt ve izleme (tracing) araçları.
• Yeniden dizinleme: belgeler değiştiğinde yeniden embedding’e çevrilen her sayfa tekrar faturalanır.
• Değerlendirme çalıştırmaları: her değişiklikte değerlendirme setini çalıştırmak da token harcar.
• İzleme, destek ve iyileştirme: sistemi işe yarar tutan insanlar.

Token maliyetini hata maliyetiyle karşılaştıran notumuz, tahminlerin çoğu zaman dışarıda bıraktığı kalemi ekliyor: hataların beklenen maliyeti.

• İş bittiğinde: her kalemin bir sahibi ve aylık bir tahmini vardır.
• Sık yapılan hata: “insanlar bu işi zaten yapıyordu” diyerek inceleme süresini dışarıda bırakmak.

Maliyet tavanı ve uyarılar nasıl belirlenir?

Süreç sahibiyle, en yoğun ay tahminine bir pay ekleyerek aylık bir tavan üzerinde anlaşın. Ardından üç tür uyarı ekleyin:

• Bütçe uyarıları: tavandan çok önce, örneğin tavanın yarısında ve dörtte üçünde.
• Günlük harcama uyarısı: kontrolden çıkan bir döngüyü ay sonunda değil, bir gün içinde yakalar.
• Görev başına maliyet uyarısı: toplamlar normal görünse bile şişen promptları ya da bir tekrar deneme fırtınasını yakalar.

Artışın hangi bölümden geldiğini görebilmek için bütçeleri özelliklere göre ayırın. Tavana yaklaşıldığında ne olacağına önceden karar verin: rutin vakalar daha küçük bir modele geçer, acil olmayan işler kuyrukta bekler ya da vakalar insanlara döner. Sistem asla sessizce durmamalıdır.

• İş bittiğinde: her uyarı bilerek bir kez tetiklenmiş ve adı belli bir kişiye ulaşmıştır.
• Sık yapılan hata: uyarıların kimsenin okumadığı ortak bir posta kutusuna düşmesi.

Bir tahmin tablosu neye benzer?

Her adım için bir satır ve şu sütunlar:

• Adım ve kullandığı model.
• Görev başına çağrı, yedek yollar dahil.
• Çağrı başına girdi ve çıktı token’ı, tipik ve uzun vaka için.
• Adımın tekrar deneme oranı.
• Tüm satırlarda ortak olan aylık hacim ve yoğunluk katsayısı.
• Görev başına inceleme dakikaları, ayrı bir satırda.

Fatura taslağı hazırlama için temsili bir tahmin ele alalım. Sayılar hesabı göstermek için seçilmiş varsayımsal değerlerdir ve birimler temsilidir; fiyat ya da kıyaslama değildir. 1.000 girdi token’ı için 1 birim, 1.000 çıktı token’ı için 5 birim varsayalım.

Bu, fatura başına 17 birim eder. Her on çıkarma işleminden biri iki kez çalışır; bu 0,7 ekler ve toplam 17,7 olur. Ortalama bir ayda 10.000 faturada model maliyeti 177.000 birimdir; 1,5 yoğunluk katsayısıyla en yoğun ay 265.500 birim tutar. İnceleme, dakikası varsayımsal olarak 10 birimden fatura başına 1,5 dakika ekler: fatura başına 15 birim, yani neredeyse model kadar. Tavan en yoğun aya göre belirlenir; görev başına uyarı ise örneğin 25 birimin üzerinde devreye girer.

Maliyet hesaplayıcı

Tahmini kendi rakamlarınızla yapın.

Alanlar, yukarıdaki örneğin dört adımının ortalamasıyla ve temsili birimleriyle başlar. Bunları pilotunuzun rakamları ve sağlayıcınızın güncel fiyatlarıyla, istediğiniz para biriminde değiştirin. Yazdığınız hiçbir şey saklanmaz ya da gönderilmez.

Hesaplayıcı JavaScript gerektirir. Yaptığı hesap aşağıda; aynı tahmini kâğıt üzerinde ya da bir hesap tablosunda da yapabilirsiniz.

Hacim

Aylık görev sayısı

Ortalama bir ay, işin kaydedildiği asıl sistemden

Yoğunluk katsayısı

En yoğun ayın ortalama bir aya oranı

Çağrılar

Görev başına çağrı

Bilgi erişimi, kontroller ve yedek yollar dahil her çağrı

Tekrar deneme (%)

İkinci kez çalışan çağrıların payı

Çağrı başına girdi token’ı

Gerçek vakalarda, her dil için ayrı ölçülür

Çağrı başına çıktı token’ı

Kelime sayılarından değil, API yanıtlarından

Fiyatlar

1 milyon girdi token’ının fiyatı

Sağlayıcınızın güncel fiyat listesinden

1 milyon çıktı token’ının fiyatı

Çıktı genellikle girdiden pahalıdır

Para birimi

Herhangi bir para birimi; sonuçlar bu birimle gösterilir

İnceleme

Görev başına inceleme dakikası

Vakanın açılmasından onaylanmasına kadar

Bir saatlik incelemenin maliyeti

O ekibin bir saatinin maliyeti

Örnek değerlere dön

Sonuç

Görev başına maliyet

–

birim

En yoğun ay: bütçeyi buna göre yapın

–

birim

Görev başına, ortalama bir ayda ve en yoğun ayda model ve inceleme maliyeti

birim	Görev başına	Ortalama bir ay	En yoğun ay
Model	–	–	–
İnceleme	–	–	–
Toplam	–	–	–

Altyapı, yeniden dizinleme, değerlendirme çalıştırmaları ve destek bu iki satırın üzerine eklenir.

Hesaplama

1. Görev başına model maliyeti = görev başına çağrı × (1 + tekrar deneme oranı) × (girdi token’ı × girdi fiyatı + çıktı token’ı × çıktı fiyatı) ÷ 1.000.000
2. Görev başına inceleme maliyeti = inceleme dakikası ÷ 60 × bir saatlik incelemenin maliyeti
3. Görev başına maliyet = görev başına model maliyeti + görev başına inceleme maliyeti
4. Ortalama bir ay = görev başına maliyet × aylık görev sayısı
5. En yoğun ay = ortalama bir ay × yoğunluk katsayısı

Pilotta ilk olarak ne kurulmalı?

Pilot bitmeden önce vaka, adım ve dil başına kullanım kaydını ekleyin; tahmindeki diğer her sayı buna dayanır. Sistem canlıya geçtikten sonra yapay zeka güvenilirliği hizmetimiz onu uyarılar ve yönlendirmeyle bu tavanın altında tutar.