Yapay zeka yanıldığında: ilk saatler için bir olay müdahale planı.

Bir müşteri, e-postanızdaki iade tutarının ödediğinin iki katı olduğunu yazıyor. Yanıtın taslağını bir asistan hazırlamış, yoğun bir saatte de bir temsilci onaylamış. Hiçbir şey çökmemiş, bütün gösterge panelleri yeşil; sistem ise kendinden emin biçimde yanılmış, belki de birden fazla kez.

Çoğu yapay zeka olayı böyle görünür: bir kesinti değil, doğru görünen yanlış bir yanıt. Bir yapay zeka olay müdahale planı da bu tür bir hataya göre çalışmalıdır. Önem derecesini etkiye göre belirleyin, durdurma anahtarını ve yedek yolu rutin hale getirin, etkilenen kişilere hızla haber verin ve her olayı değerlendirme setinde yeni vakalara dönüştürün.

Hangi durumlar yapay zeka olayı sayılır?

Sistemin çıktısının ya da davranışının bir müşteriye, paraya, veriye veya güvene zarar verdiği, hatta verebileceği her durum bir olaydır; sistemin üzerinde anlaşılan sınırların dışına çıktığı durumlar da. Dört temsili olay, yelpazenin ne kadar geniş olduğunu gösteriyor:

• Yanlış iade tutarı. Taslak, iadeyi yanlış sipariş satırı üzerinden hesapladı ve kimse fark etmeden bu taslaklardan birkaçı onaylandı.
• Eskimiş bir belgeden politika yanıtı. Bir çalışan asistanı, yerine yenisi gelmiş bir izin politikasını aktardı; çünkü eski dosya hâlâ arama dizinindeydi.
• Veri ifşası. Bir yanıt başka bir müşterinin siparişinden ayrıntılar içerdi ya da bir özet, kaynağı açma yetkisi olmayan bir çalışana ulaştı.
• Maliyet sıçraması. Alışılmadık uzunluktaki belgelerde dönen bir tekrar deneme döngüsü, günlük faturayı bir gecede katladı.

Ramak kala olaylar da sayılır. İnceleyen kişinin yakaladığı yanlış bir taslak, biri kayda geçirdiği sürece alabileceğiniz en ucuz derstir.

Önem dereceleri nasıl belirlenir?

Teknik nedene göre değil, etkiye göre. Aynı prompt hatası bir iç araçta önemsiz, müşteriye açık bir kanalda ciddi olabilir. Dereceleri canlıya geçmeden önce süreç sahibiyle kararlaştırın ve kimsenin test etmediği saatler uydurmak yerine müdahale beklentilerini birbirine göre belirleyin:

Emin değilseniz daha yüksek bir derece seçin, sonra düşürün. Sistemle çalışan herkes olay bildirebilir ve yanlış alarm hiçbir zaman kimsenin aleyhine sayılmaz.

İlk saatte ne yapılır?

İlk saat düzeltmeyle değil, etkiyi sınırlamak ve kanıtı korumakla geçer:

1. Bildirin. Fark eden kişi, önceden kararlaştırılmış tek bir kanala vaka numarasını ve ne gördüğünü yazar.
2. Sınıflandırın. İşletim kılavuzunda adı geçen olay sorumlusu sorunu doğrular ve tablodan önem derecesini belirler.
3. Sınırlayın. Durdurma anahtarını çekin, etkilenen vaka türünü ya da kanalı kapatın veya her vakayı tam incelemeye gönderin.
4. Kanıtı koruyun. Henüz promptları düzenlemeyin, kayıtları temizlemeyin. Model, prompt ve kaynak sürümlerini ve etkilenen vakaların kayıt girdilerini saklayın; iyi bir yapay zeka denetim kaydı bunu günler değil, dakikalar süren bir işe dönüştürür.
5. Etkinin boyutunu bulun. Son değişiklikten bu yana benzer vakaları kayıtlarda arayın: kaç tane, hangi müşteriler, hangi tutarlar.
6. İlk bilmesi gerekenlere haber verin: önce süreç sahibine, kişisel veriyle ilgili her durumda da DPO’ya.

Canlı ortamda baskı altında düzeltme yapmak, bir olayı ikiye çıkarmanın en kısa yoludur. Düzeltme, değerlendirme setini geçene kadar bekler.

Durdurma anahtarı ne zaman çekilir?

Zarar sürüyor ve henüz sınırlandıramıyorsanız, kişisel veriler açığa çıkmış olabilirse, aynı hata rastgele değil de tekrar tekrar ortaya çıkıyorsa ya da harcama açıklaması olmadan tavanı aşıyorsa çekin. Daha küçük durumlarda kapsamı daraltmak çoğu zaman yeterlidir.

Kimsenin test etmediği bir durdurma anahtarı bir kontrol değil, bir umuttur.

Anahtar, arkasındaki yedek yol kadar iyidir. Sistem durduğunda vakaları manuel sürece dönmeli; ekip de bu vakaların nerede görüneceğini, kimin üstleneceğini ve gecikmeler hakkında müşterilere ne söyleneceğini bilmelidir. Bunu canlıya geçmeden önce prova edin ve süresini ölçün. Güvenle durdurmayı da kapsayan bir işletim kılavuzu, canlıya geçmeden önce kontrol ettiğimiz koşullardan biridir. Her vaka türü ya da kanal için ayrı bir anahtar, tek büyük bir anahtardan daha kullanışlıdır.

Anahtarı çekmek, olay sorumlusunun kimseden izin almadan verebileceği rutin bir karar olmalıdır. Durdurmak kariyer riski gibi görünüyorsa insanlar tam da tereddüt etmemeleri gereken anda tereddüt eder.

Kime, ne söylenmeli?

Harekete geçebilecek kişilerden başlayarak sırayla haber verin:

• Süreç sahibi: kritik ve yüksek önem dereceli olaylarda hemen.
• DPO: kişisel verilerin etkilenmiş olabileceği her durumda hemen. Veri koruma olayları KVKK ya da GDPR kapsamında, bazen kısa sürelerle, bildirim yükümlülükleri doğurabilir; neyin geçerli olduğunu DPO’nuz ve hukuk danışmanınız değerlendirmelidir. Onları incelemeden sonra değil, en başta işin içine katın.
• Etkilenen müşteriler ya da çalışanlar: hızlı ve sade bir dille; ne olduğu, ne yaptığınız, onların ne yapması gerektiği. Yanlış iadeleri düzeltin, doğru politika yanıtlarını yeniden gönderin. Metni süreç sahibiyle, gerektiğinde hukuk danışmanıyla birlikte belirleyin.
• Yedek yolu işleten ekip: kuyruklarına neyin düştüğünü bilsinler diye.
• Tedarikçiniz ya da model sağlayıcınız: kendi bileşenleri işin içindeyse, destek sözleşmenizin koşullarına göre.

Her mesaj neyi bildiğinizi, neyi henüz bilmediğinizi ve bir sonraki bilgilendirmenin ne zaman geleceğini söyler.

Yararlı bir olay sonrası değerlendirme ne üretir?

Birkaç gün içinde, olaya dahil olan kişilerle yapılan ve suçlu aramayan bir değerlendirme altı şey üretmelidir:

• Zaman çizelgesi: kayıtlardan yeniden oluşturulmuş.
• Sade bir dille neden: yerine yenisi gelmiş ama hâlâ dizinde duran bir belge, değerlendirme setini atlayan bir prompt değişikliği, daha önce kimsenin görmediği bir vaka türü.
• Yeni değerlendirme vakaları: doğru yanıtlarıyla birlikte hatalı vakalar ve onlara çok benzeyenler; böylece regresyon testi bu örüntüyü bir dahaki sefere yakalar.
• İşletim kılavuzu güncellemesi: ekibin ilk saatte neyi farklı yapacağı.
• İzleme değişikliği: olayı daha erken yakalayabilecek sinyal.
• Kapsam kararı: tamamen yeniden başlatmak, sınırlı olarak yeniden başlatmak ya da durdurulmuş halde tutmak.

Temsili politika vakasında değerlendirme, yerine yenisi gelen belgelerin dizinden hiç kaldırılmadığını ortaya çıkardı. Düzeltme bu belgeleri kaldırdı ve her belgenin yürürlük tarihi için bir kontrol ekledi; değerlendirme setine de yanıtı sürümler arasında değişmiş sorular eklendi.

Bir tatbikat nasıl yapılır?

Canlıdaki tek bir sistem için önem derecesi tablosunu ve durdurma anahtarı prosedürünü yazın, ardından bir tatbikat yapın: Sistemi bilerek durdurun ve manuel sürecin kuyruğu nasıl karşıladığını izleyin. Canlı sistemleri, işletim kılavuzları ve olay yönetimi dahil yolunda tutmak yapay zeka güvenilirliği hizmetimizin işidir.

Bu not genel bilgi amaçlıdır; hukuki tavsiye değildir.

Kaynaklar

1. Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1 ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
2. Tüzük (AB) 2016/679 (Genel Veri Koruma Tüzüğü, GDPR), resmi metin EUR-Lex eur-lex.europa.eu/eli/reg/2016/679/oj
3. 6698 sayılı Kişisel Verilerin Korunması Kanunu Mevzuat Bilgi Sistemi www.mevzuat.gov.tr/mevzuatmetin/1.5.6698.pdf