Kavram kanıtı, pilot ya da MVP: hangi yapay zeka adımını atıyorsunuz?

Demo iyi geçti. Bir model yirmi sözleşmeyi özetledi, hukuk ekibi özetleri beğendi ve toplantı bitmeden biri sistemin ne zaman canlıya alınabileceğini sordu. Bu soru en az bir adımı atlıyor.

Yapay zekada kavram kanıtı (PoC), pilot ve MVP (minimum uygulanabilir ürün) aynı şeyin üç farklı boyu değildir. Her biri farklı bir soruyu yanıtlar, farklı verilerle çalışır ve farklı biri tarafından onaylanır. Etkileyici demolar, bunlar birbirine karıştırıldığında ölür: proje bir soruyu atlar ve yanıt daha sonra, kullanıcıların önünde gelir.

Her adım hangi soruyu yanıtlar?

MVP tabloda bilerek yok: bir adımı değil, bir kapsamı tarif eder.

Kavram kanıtı neyi kanıtlar, neyi kanıtlamaz?

İyi bir kavram kanıtı üç şeyi hızlı ve ucuz biçimde kanıtlar: model sizin türünüzdeki girdiyi okuyabilir, ihtiyaç duyduğunuz çıktıyı üretebilir ve vaka başına maliyet makuldür.

Ekibinize gerçekte gelen vakalar, işin geçtiği sistemler ya da tam hacimdeki fatura hakkında ise hiçbir şey kanıtlamaz. Zayıf nokta örneklemdir. Kavram kanıtları genellikle birinin seçtiği örneklerle yapılır: temiz, tipik, bulması kolay. Kimse demo için en kötü sözleşmesini seçmez. Demo tuzağı budur ve nedeni kötü niyet değil, seçimin kendisidir.

Örnekleri kim seçerse sonucu da o seçer.

Üç alışkanlık bir kavram kanıtını adına layık kılar:

• Seçmeyin, örneklem alın. Olağan bir dönemden rastgele vakalar çekin, sonra zorlu olanları bilerek ekleyin.
• Çıtayı önce koyun. Çalıştırmadan önce hangi sonucun pilotu haklı çıkaracağı ve hangisinin projeyi durduracağı konusunda anlaşın.
• Neyin test edilmediğini listeleyin. Dışarıda bırakılan belge türleri, diller ve entegrasyonlar pilotun ilk soruları olur.

Bir pilotu gerçek pilot yapan nedir?

Temsili bir vakaya bakalım. Bir hukuk ekibinin kavram kanıtı, kıdemli bir avukatın seçtiği yirmi sözleşmeyi özetledi. Özetler doğruydu ve pilot onaylandı. Canlı işte birkaç gün içinde üç sorun ortaya çıktı:

• Taranmış belgeler. Eski sözleşmeler kaşeli ve el yazısıyla düzeltilmiş taranmış PDF’ler olarak geldi; metin çıkarma, en önemli maddeleri bozdu.
• Ekler. Ödeme koşulları ayrı belge olarak dosyalanmış eklerdeydi; bu yüzden özetler ticari koşulları atladı.
• Değişiklik protokolleri. Sonradan imzalanan protokoller fiyatları ve ihbar sürelerini değiştirmişti; özetler artık geçerli olmayan koşulları aktardı.

Kavram kanıtı yanlış değildi; herkesin duyduğundan daha dar bir soruyu yanıtlamıştı. Gerisini ortaya çıkarmak pilotun işidir. Bu yüzden gerçek bir pilot, canlı vakalar üzerinde, geldikleri anda çalışır; iyinin ne olduğunu süreç sahibi tanımlar ve onayı o verir. Kabul kriterleri pilot başlamadan önce yazılır: vaka türüne göre kalite, vaka başına süre ve maliyet ve asla kabul edilemeyecek hatalar. Gerçek kullanıcılar çıktıyla günlük rutinlerinde çalışır; veri koruma sorumluları ilk haftadan sürece dahil olur. Bir test ortamında (sandbox) sabit bir test seti üzerinde yapılan bir “pilot”, yalnızca daha uzun bir kavram kanıtıdır.

Dikkatli bir pilot çoğu zaman gölge modda başlar: sistem canlı vakalar üzerinde çalışır ama henüz kimse çıktısına göre işlem yapmaz.

MVP bu adımların neresinde durur?

MVP, gerçek kullanıcıların gerçek iş için kullanabileceği en küçük sürümdür. Yapay zeka projelerinde ayrı bir adım değildir; pilotun kapsamıdır: tek ekip, tek vaka türü, tek kanal, yetecek kadar entegrasyon ve bir inceleme ekranı.

Asıl risk, neyin kesildiğinde yatar. Teslim tarihi baskısı altında “minimum”, değerlendirme seti yok, onay adımı yok, kayıt yok anlamına gelmeye başlar. Oysa bir yapay zeka sisteminin nerede hata yaptığını gösteren parçalar bunlardır ve hataları henüz görmediğiniz vakalarda saklanır. Kapsamdan kısın, koruma önlemlerinden asla.

Her adımın çıkış kriterleri nelerdir?

Her adım yazılı bir kararla biter:

• Kavram kanıtı: çıta, işin gerçek karışımını yansıtan bir örneklemde aşılmıştır; vaka başına maliyet iş gerekçesine uyar ve test edilmemiş sorular listelenmiştir. Olası sonuçlar: pilot, yeniden tasarım ya da durdurma. Erken gelen bir “hayır” ucuz ve faydalıdır.
• Pilot: kabul kriterleri canlı işte karşılanmıştır, kullanıcılar inceleme adımından memnundur, veri ve güvenlik incelemeleri kapanmıştır. Olası sonuçlar: canlıya geçmek, sınırlı olarak canlıya geçmek (önce tek ekip ya da tek vaka türü), belirtilen bir nedenle uzatmak ya da durdurmak. Pilottan canlıya geçiş kontrol listesi, süreç sahibiyle birlikte kontrol ettiğimiz sekiz koşulu sıralıyor.
• Canlı kullanım: çıkış yoktur, yalnızca bakım vardır: izleme, regresyon testleri, bir maliyet tavanı ve bir işletim kılavuzu; ta ki biri sistemi kullanımdan kaldırmaya karar verene kadar.

Hangi adım güvenle atlanabilir?

Bazen kavram kanıtı. Görev iyi biliniyorsa (örneğin tanıdık bir formdan alan çıkarmak) ve elinizde uzmanların onayladığı yanıtlarla gerçek vakalardan oluşan güçlü bir değerlendirme seti zaten varsa, soru artık bir modelin bunu yapıp yapamayacağı değildir. Soru, burada çalışıp çalışmadığıdır; bu da bir pilot sorusudur.

Girdi olağan dışıysa (kötü taramalar, el yazısı, Türkçe ve İngilizcenin karıştığı metinler, yoğun jargon), görevi verileriniz üzerinde henüz kimse denemediyse ya da pilot, yaklaşımın işe yaradığı bilinmeden pahalı entegrasyonlar gerektiriyorsa kavram kanıtını koruyun.

Müşterilere, paraya ya da taahhütlere dokunan işlerde pilotu asla atlamayın.

Şu an hangi adımdasınız?

Mevcut yapay zeka projeniz hakkında tek bir cümle yazın: projenin şu anda yanıtladığı soru. Bu cümle “bir model bunu yapabilir mi?” ise, sunumlarda adı ne olursa olsun yaptığınız şey bir kavram kanıtıdır.

Emin değilseniz, bunu bir Keşif Çalışması netleştirir: başlangıç ölçümü, veri ve erişim incelemesi, riskler ve kabul kriterleriyle bir pilot planı. Başlangıç yolları onu Pilottan Canlıya çalışmasıyla karşılaştırıyor; nasıl çalıştığımız ise aradaki adımları gösteriyor.