Bir yapay zeka projesi bittiğinde ekibinize neler teslim edilmeli?

Tedarikçinin ekibi bir cuma günü projeden ayrıldı. Salı günü iade politikası değişti ve asistanın talimatlarına tek bir cümle eklenmesi gerekti. Sizin tarafınızda kimse promptun nerede durduğunu, onu değiştirmenin bir şeyi bozup bozmayacağını ya da bunu nasıl anlayacağını bilmiyordu.

Yapay zeka projesi teslimi, ekibiniz tedarikçiyi hiç aramadan bir promptu değiştirebildiğinde, değerlendirme setini yeniden çalıştırabildiğinde, bir modeli geri alabildiğinde ve bir kararı denetçiye açıklayabildiğinde tamamlanır. Bundan azı, adı daha güzel konmuş bir bağımlılıktır.

Bir yapay zeka sistemi için “teslim edildi” ne demek?

Sıradan bir yazılımda devir teslim; kod, dokümantasyon ve kimlik bilgileri demektir. Bir yapay zeka sistemi buna, tek satır kod değişmeden davranışını değiştiren parçalar ekler: promptlar, bilgi erişimi kaynakları ve dizinleri, sağlayıcının güncelleyebileceği model sürümleri, eşikler ve yönlendirme kuralları. Ekibinizin bunların hepsini işletebilmesi ve bunu tedarikçi ayrılmadan önce kanıtlaması gerekir. Devir teslimin çalışma yöntemimizde ayrı bir adım olmasının nedeni budur: Bu adım bir doküman klasörüyle değil, ekibinizin yürüttüğü bir pratikle biter.

Hangi dokümanları ve varlıkları teslim almalısınız?

1. Kod ve altyapı tanımları: kendi kod depolarınızda, kendi ortamınızda sıfırdan derlenebilir halde. Yalnızca tedarikçinin makinelerinde derleniyorsa sahibi siz değilsiniz.
2. Sürüm geçmişiyle promptlar: her sürüm kendi değerlendirme sonuçlarına bağlı. Promptlar sistemin davranışıdır; geçmiş, neyin neden değiştiğini gösterir.
3. Değerlendirme seti ve sonuçları: ayar için hiç kullanılmayan ayrılmış bölüm, puanlama kuralları ve kabul anındaki vaka türüne göre sonuçlar dahil. Gelecekteki bir değişikliğin işe yarayıp yaramadığını bununla anlayacaksınız.
4. Veri akışı ve erişim haritası: kaynaklar, hangi verinin hangi modele gittiği, nerede işlendiği, neyin saklandığı ve kimlerin görebileceği. Veri koruma görevliniz (DPO) ve denetçileriniz bunu soracaktır.
5. İşletim kılavuzu: kalite düştüğünde, bir kaynak çöktüğünde, maliyetler fırladığında ya da biri zararlı bir yanıt bildirdiğinde ne yapılacağı, sistemin nasıl geri alınacağı ve kimin aranacağı. Kötü günler tedarikçiyi beklemez.
6. Model ve tedarikçi listesi: her model ve sürümü, sağlayıcısı, işleme bölgesi, geçerli koşullar ve yedek seçenek. Bir sağlayıcının bir modeli değiştirdiği ya da kullanımdan kaldırdığı gün bu listeye ihtiyacınız olur.
7. Maliyet gösterge paneli: görev başına maliyet, tavan ve uyarılarla birlikte. Harcama zamanla kayar.
8. Karar kaydı: neden bu model, neden bu onay noktası, neler denenip reddedildi. Bu kayıt olmazsa eninde sonunda biri, nedenini kimsenin hatırlamadığı bir kararı geri alır.

Proje bittiğinde ekibiniz neleri yapabilmeli?

Sistemin bir tatil dönemini de atlatabilmesi için adı belli en az iki kişi şunları yapabilmelidir:

• bir promptu güvenle değiştirmek: düzenlemek, değerlendirmek, vaka türüne göre karşılaştırmak, yayına almak ve geri almak;
• izleme verilerini okumak ve başta müdahalelerdeki artış olmak üzere uyarılara göre harekete geçmek;
• belgeler değiştiğinde bir kaynağı güncellemek ya da dizini yeniden oluşturmak;
• model değiştirmeden önce aday bir modeli değerlendirme setinde karşılaştırmak;
• tek bir kararı kayıtlarda girdiden onaya kadar izlemek.

Bunlar projenin sonundaki bir eğitim oturumunda değil, proje boyunca yapılarak öğrenilir.

Hangi hesaplar, anahtarlar ve erişim hakları devredilmeli?

Bulut abonelikleri, model sağlayıcı hesapları ve API anahtarları tedarikçinin değil, kurumunuzun adına olmalıdır. Kod depoları, derleme hatları, izleme ve uyarı yönlendirmesi ekiplerinize geçer; uyarılar da sizin çalışanlarınıza gider. Tedarikçinin gördüğü her anahtar yenilenir. Sistemin kendi hizmet hesapları en az yetki ilkesiyle çalışmaya devam eder; tedarikçinin erişimi ise kaldırılır ya da yazılı bir destek sözleşmesinin gerektirdiği kadarına indirilir.

Tedarikçinin API anahtarıyla çalışan bir sistem hâlâ tedarikçinin sistemidir.

Devir teslimin işe yaradığı nasıl test edilir?

Son aşama onaylanmadan önce yapılan bir tatbikatla. Temsili bir örnek: devir teslim aşamasındaki bir fatura taslağı sistemi. Tedarikçinin mühendisleri izler ve hiçbir şey söylemez; ekibiniz ise dört şey yapar:

1. Promptu değiştirir. Yeni bir kural gelir: Belirli bir tedarikçiden gelen iade faturaları her zaman incelemeye gidecek. Ekip promptu kod deposunda düzenler ve değerlendirme setini çalıştırır.
2. Sonuçları okur. Kural çalışıyor, ama birden fazla satın alma siparişine bağlı faturaların taslakları kötüleşmiş. Ekip bunu vaka türüne göre sonuçlarda fark eder.
3. Geri alır. Önceki prompt sürümünü geri yükler, canlıdaki sürümü izleme ekranında doğrular ve kararı kayda geçer.
4. Bir kararı açıklar. Geçmişteki bir faturayı açar ve girdiyi, kaynakları, model ve prompt sürümlerini, çıktıyı ve onu kimin onayladığını gösterir.

Ekibiniz tedarikçiye tek bir şey sormak zorunda kaldıysa devir teslim bitmemiştir. Eksik olanı yazın, giderin ve tatbikatı yeniden yapın.

Teslimden sonraki destek için neler yazıya dökülmeli?

Önce sahiplik. Kodun, promptların, değerlendirme setlerinin ve dokümantasyonun sahibinin kim olduğu, tedarikçinin elinde tuttuğu her şey için lisanslarla birlikte, sözleşmede zaten yazılı olmalıdır; ifadeleri hukuk danışmanınıza kontrol ettirin. Özel yapay zeka yazılımı çalışmalarımızda varsayılan kural, sizin için oluşturulan her şeyin sahibinin siz olmanızdır.

Ardından destek modeli gelir. Seçenekler, sistemi işletim kılavuzuyla kendiniz işletmekten yalnızca olayları kapsayan bir sözleşmeye, oradan da izlemeyi, regresyon testlerini ve iyileştirmeleri kapsayan aylık bir iş birliğine kadar uzanır. Hangisini seçerseniz seçin şunları yazıya dökün: hangi konuda kimin nöbette olduğu, modelleri ve promptları kimin değiştirebileceği ve değişikliklerin nasıl onaylandığı, maliyetlerin nasıl raporlandığı, sistemin ne zaman gözden geçirildiği ve düzenlemenin nasıl sona erdiği. Destek sözleşmeleri ve olay müdahale planları üzerine notlarımız konuyu daha ayrıntılı ele alıyor.

Son ödemeden önce devir teslim nasıl sınanır?

Tatbikatı sözleşmeye bir kabul adımı olarak yazın ve son ödemeden önceye planlayın. Tatbikat, canlıya geçiş koşullarının sekizincisini, yani işletim kılavuzu, dokümantasyon ve eğitimi pratikte sınar. Sistemi tek başınıza işletmek istemezseniz, Yerleşik Yapay Zeka Ekibi modeliyle sunduğumuz yapay zeka güvenilirliği hizmeti; izlemeyi, regresyon testlerini ve iyileştirmeleri süreç sahiplerinizle birlikte üstlenir.