# Token nedir? Yapay zeka maliyetlerinin ve sınırlarının arkasındaki birim. > Bu saha notunda veridive, dil modellerinin metni okumak, yazmak ve ücretlendirmek için kullandığı birim olan token’ı anlatıyor. Girdi ve çıktı token’larını, bağlam penceresini, uzun bilgi erişimi bağlamının görev başına maliyeti neden artırdığını, aynı metnin modele ve Türkçe gibi dillere göre neden farklı maliyet çıkardığını ve bütçenin neden tamamlanan görev başına yapılması gerektiğini açıklıyor. Dil modelleri token ile okur, yazar ve ücretlendirir. Token’lar bağlam sınırlarını, uzun belgelerin neden daha pahalı olduğunu, çıktının neden girdiden farklı fiyatlandığını ve aynı metnin dile ve modele göre neden farklı maliyet çıkarabildiğini açıklar. ## Öne çıkanlar - Token, çoğu zaman kısa bir kelime ya da bir kelimenin parçası olan metin birimidir; modeller token ile okur, sınır koyar ve ücretlendirir. - Girdi ve çıktı token’ları ayrı fiyatlanır; uzun bilgi erişimi bağlamı ve sohbet geçmişi her görevin maliyetini artırır. - Tokenizer’lar birbirinden farklıdır ve Türkçe kelimeler çoğu zaman İngilizce kelimelerden daha fazla parçaya bölünür; kendi metninizi ölçün. - Bütçeyi token ya da milyon token başına değil, kendi örneklerinizde ölçülen tamamlanmış görev başına yapın. Her model fiyat listesi, her bağlam sınırı ve her kullanım raporu aynı birimi sayar ve bu birim kelime değildir: token’dır. Modelleri iyi satın almak için içlerinde nasıl çalıştıklarını bilmeniz gerekmez. Ama token’ın ne olduğunu bilmeniz gerekir, çünkü bir yapay zeka faturasındaki sürprizlerin çoğunu o açıklar. Aşağıda her terim için sade bir tanım ve size sordurması gereken soru var. Kısacası: modeller token ile okur, yazar ve ücretlendirir; bu yüzden bütçeyi token başına değil, tamamlanan görev başına yapın. ## Token nedir? **Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: çoğu zaman kısa bir kelimenin tamamı, bazen uzun bir kelimenin bir parçası, bir noktalama işareti ya da bir boşluk. Sistemin metni token’lara bölen bileşeni olan tokenizer, genellikle bir model ailesinden diğerine değişir.** İngilizce bir cümlenin temsili bir bölünüşüne bakalım. Her model metni farklı böler; bunu bir ölçüm olarak değil, fikri gösteren bir örnek olarak görün: `Please` · `check` · `the` · `attached` · `invoice` · `.` Beş kelime ve bir nokta için altı token (cümlenin Türkçesi: “Lütfen ekteki faturayı kontrol edin.”). Yaygın İngilizce kelimeler çoğu zaman tek token’dır; daha uzun ya da nadir kelimeler parçalara ayrılır; sayılar, kodlar ve alışılmadık isimler ise çok sayıda parçaya bölünebilir. **Şunu sorun:** iş akışımızdaki tipik bir vaka, kullanmayı planladığımız modelle ölçüldüğünde kaç token tutuyor? ## Modeller neden token başına ücretlendirir? **Girdi token’ları gönderdiğiniz her şeydir: talimatlar, soru, bilgi erişimiyle getirilen belgeler ve önceki konuşma. Çıktı token’ları ise modelin geri yazdığı her şeydir; bazı modellerde siz görmeseniz de ücretlendirilen ara akıl yürütme adımları da buna dahildir.** Modeller token başına ücretlendirir, çünkü yapılan iş token sayısıyla büyür. Her girdi token’ının işlenmesi gerekir; her çıktı token’ı ise adım adım, tek tek üretilir. Çıktının çoğu zaman girdiden daha pahalı fiyatlanması bundandır. Bazı sağlayıcılar, her çağrıda tekrarlanan uzun bir talimat dizisi gibi daha önce işledikleri girdi için daha az ücret de alır. Bu da bağlamı gizli maliyet etkenine dönüştürür. Belgelerinizden yanıt veren bir sistemde her soru, getirilen pasajları girdi olarak gönderir. Üç kısa pasaj yerine on uzun pasaj gönderirseniz, kullanıcı tek satır yazmış olsa bile görev başına girdi katlanır. Uzun sohbetler de aynı etkiyi yaratır, çünkü sohbet geçmişi her turda yeniden gönderilir. **Şunu sorun:** getirilen bağlam, sohbet geçmişi ve tekrar denemeler dahil, tamamlanan tek bir görev kaç girdi ve çıktı token’ı kullanıyor? ## Bağlam penceresi nedir ve neden önemlidir? **Bağlam penceresi, bir modelin aynı anda dikkate alabileceği en fazla token sayısıdır: talimatlar, girdi, getirilen metin ve modelin kendi çıktısı birlikte. Sığmayan her şey kesilir ya da dışarıda bırakılmak zorunda kalır.** Uzun bir sözleşme bütünüyle sığmayabilir. Uzun bir sohbet, kendi başlangıcını pencerenin dışına iter. Pencerenin içinde bile çok uzun bir girdi, modelin asıl önemli olan tek paragrafı kullanmasını zorlaştırabilir; yani daha büyük pencere kendiliğinden daha iyi değildir ve dolu bir pencere çağrı başına daha pahalıdır. Tasarımdaki olağan çözüm bilgi erişimidir: tüm kütüphaneyi değil, ilgili pasajları gönderin. **Şunu sorun:** en uzun belgemiz sığmadığında ne oluyor ve bunu fark eder miyiz? ## Aynı metin neden farklı maliyet çıkarabilir? Aynı paragraf, iki farklı modelde birkaç nedenle birden farklı bir fatura çıkarabilir: - **Farklı tokenizer’lar** onu farklı sayıda token’a böler. - **Farklı fiyatlar:** girdi ve çıktı token’ı başına fiyatlar modele göre değişir. - **Farklı alışkanlıklar:** bir model üç satırda yanıt verir, bir diğeri on satırda. - **Gizli ek yük:** talimatlar, araç tanımları ve biçim kuralları her çağrıda yeniden gönderilir. - **Tekrar denemeler ve akıl yürütme:** başarısız denemeler ve ara akıl yürütme adımları da faturalanır. Bu yüzden milyon token başına fiyat, modelleri karşılaştırmak için kötü bir ölçüdür. Aynı örneklerde ölçülen, tamamlanan görev başına maliyet ise iyi bir ölçüdür. **Şunu sorun:** token başına fiyat değil; kendi değerlendirme setimizde görev başına maliyet ne? ## Bu, Türkçe ve diğer diller için ne anlama gelir? **Türkçe anlamı bir köke ekler ekleyerek kurar; bu yüzden tek bir kelime, İngilizcenin birkaç kelimeyle söylediğini taşıyabilir. Çoğunlukla İngilizce metinlerle oluşturulmuş tokenizer’lar bu kelimeleri çoğu zaman İngilizce kelimelerden daha fazla parçaya böler.** Temsili bir bölünüş: İngilizcenin birkaç kelimeyle (`from our invoices`) söylediği *faturalarımızdan*, `fatura` · `lar` · `ımız` · `dan` biçiminde bölünebilir; tek kelime, dört token. Etki modelden modele değişir; Arapçayı ve Latin alfabesi dışındaki alfabelerle yazılan diğer dilleri de etkiler. Pratik sonucu şudur: aynı mesaj Türkçede daha pahalıya gelebilir ve Türkçe bir belge bağlam penceresini daha çabuk doldurur. Bir oran varsaymayın. Gerçek Türkçe ve İngilizce vakalardan bir örneklem alın, her aday modelden geçirin ve token sayılarını sağlayıcının raporladığı kullanım verilerinden okuyun. Diğer tasarım sorularını [Türkçenin yapay zekada yarattığı zorluklar](https://veridive.com/tr/saha-notlari/turkce-yapay-zeka-zorluklari/) üzerine notumuz ele alıyor. **Şunu sorun:** değerlendirdiğimiz her modelde, Türkçe metnimiz için vaka başına ölçülen token sayısı ne? ## Alıcı bu bilgiyi nasıl kullanmalı? Bütçeyi token başına değil, tamamlanan görev başına yapın. Görev, işletmenin önemsediği birimdir: taslağı hazırlanan bir fatura, yanıtlanan bir destek talebi, kontrol edilen bir sözleşme. Görevin maliyeti, tekrar denemeler dahil ihtiyaç duyduğu her çağrının token’larıyla inceleme süresinin ve altyapının toplamıdır. Bunu bir pilotta, gerçek vakalar üzerinde ve her dilde ayrı ayrı ölçün; modelleri ihtiyaç duyduğunuz kalitede görev başına maliyetle karşılaştırın. Tahmin tablosunu [LLM işletme maliyetlerini tahmin etme](https://veridive.com/tr/saha-notlari/llm-maliyet-tahmini/) notumuzda bulabilirsiniz. > Kimse token satın almaz. Tamamlanmış görevler satın alırsınız; token’lar onların maliyetindeki kalemlerden yalnızca biridir. İki hizmetimiz bu konuyu ele alır: [veri ve yapay zeka altyapısı](https://veridive.com/tr/hizmetler/veri-ve-yapay-zeka-altyapisi/) modelleri sizin örneklerinizde karşılaştırır; [yapay zeka güvenilirliği](https://veridive.com/tr/hizmetler/yapay-zeka-guvenilirligi/) ise canlıya geçtikten sonra görev başına maliyeti bir tavanın altında tutar. ## Sık sorulan sorular ### Yapay zekada token nedir? Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: çoğu zaman kısa bir kelime, bazen uzun bir kelimenin bir parçası, bir noktalama işareti ya da bir boşluk. Modeller metni token olarak işler, sınırlar ve ücretlendirir; bu yüzden bir istekteki ve yanıtındaki token sayısı hem maliyeti hem de metnin modelin bağlam penceresine sığıp sığmayacağını belirler. ### Türkçe metin İngilizceden daha fazla token mı kullanır? Çoğu zaman evet, ama modele bağlıdır. Türkçe anlamı eklerle kurar; tek bir kelime, İngilizcenin birkaç kelimeyle söylediğini taşıyabilir ve birçok tokenizer bu kelimeleri birkaç parçaya böler. Aynı mesaj bu durumda daha pahalıya gelebilir ve bağlam penceresini daha çabuk doldurabilir. Bunu, değerlendirdiğiniz her modelle kendi Türkçe metniniz üzerinde ölçün.