Bir yapay zeka projesinde kimlere ihtiyacınız var ve süreç sahibi neden en önemlisi?

Proje planında on bir kişi var: bir mimar, bir veri bilimci, bir prompt mühendisi, bir makine öğrenmesi mühendisi, iki yazılımcı, bir test uzmanı, bir proje yöneticisi ve üç yönlendirme komitesi üyesi. Listede olmayan tek kişi, işi değişmek üzere olan ekibin yöneticisidir. Altı hafta sonra kimse doğru bir yanıtın neye benzediğini söyleyemez.

Yapay zeka projeleri nadiren uzman eksikliğinden başarısız olur. İşin sahibi olan kimsenin iyiyi tanımlamaya, yanıtları kontrol etmeye ve karar vermeye vakti olmadığında başarısız olur. İyi bir yapay zeka proje ekibi küçüktür: süreç sahibi, geliştirmenin yanında değerlendirme de yapabilen mühendisler ve inceleme adımı için bir tasarımcı. Böyle bir ekip, kalabalık bir uzman ekibinden daha iyi iş çıkarır. En kıt kaynak süreç sahibinin zamanıdır; önce onu planlayın.

Her yapay zeka projesi hangi rollere ihtiyaç duyar?

İlk iş akışında dört role:

Süreç sahibinin arkasında, referans yanıtları yazan ve anlaşmazlıkları inceleyen, ekipten birkaç uzman durur; bu uzmanlar dönem dönem yoğun çalışır. Bu, çalıştığımız küçük ve deneyimli ekibin yapısıdır: bizden üç ila beş kişi, artı sizin süreç sahibiniz.

Süreç sahibi neden vazgeçilmezdir?

Çünkü bir yapay zeka sistemi, ancak dayandığı “iyi” tanımı kadar iyidir ve bu tanımı yalnızca süreç sahibi verebilir. Doğru bir sonucun ne olduğuna, hangi hataların kabul edilemez olduğuna ve belirsiz bir politikanın nasıl yorumlanacağına süreç sahibi karar verir. Canlıya geçtikten sonra iş akışını da o yürütecektir.

Referans yanıtları geliştiricilerin değil, işin sahibi olan kişilerin yazması bu yüzdendir. Yanıtları yazan geliştiriciler kendi ödevlerini kendileri notlandırır: onların varsayımları sistemin test edildiği standart olur ve canlı vakalar aksini gösterene kadar kimse bunu fark etmez.

Bir yapay zeka projesindeki en kıt kaynak, süreç sahibinin zamanıdır.

Çalışmalar sayfamızdaki temsili İade zekası çalışmasını ele alalım: on hafta, dört kişilik bir ekip. Tipik dört kişilik bir ekip örneğin bir proje lideri, iki uygulamalı yapay zeka mühendisi ve bir ürün tasarımcısından oluşur. Planın iade ekibine düşen kısmı da en az bu kadar önemliydi. İade ekibinin yöneticisi ilk iki haftada geliştiricilere süreci mağazalarda ve çağrı merkezinde yerinde gösterdi; bu sırada kıdemli çalışma arkadaşları değerlendirme seti için referans yanıtları yazdı. Geliştirme boyunca yönetici haftalık demoya katıldı ve aralarda soruları yanıtladı. Pilot sırasında anlaşmazlıkları her gün mühendislerle birlikte inceledi; sonunda da işletim kılavuzunu ve aylık değerlendirme toplantısını devraldı. Planlanması gereken örüntü budur: başta ve pilotta yoğun, arada düzenli ve proje başlamadan önce takvime yazılmış. Bir de yedek belirleyin: süreç sahipleri seyahate çıkar, hastalanır ve terfi eder.

Uygulamalı yapay zeka mühendisi neyi farklı yapar?

Geliştirmenin yanında değerlendirme de yapar. Entegrasyonların ve kodun ötesinde, süreç sahibinin vakalarını bir değerlendirme setine dönüştürür, modelleri bu set üzerinde karşılaştırır, bilgi erişimini tasarlar, yapılandırılmış çıktıyı doğrular, izlemeyi kurar ve hataları vaka türüne göre açıklar. Yalnızca geliştiren mühendisler, kimsenin savunamayacağı promptlar teslim eder. Aynı nedenle, ilk iş akışında promptları ya da testleri ayrı bir gruba devretmek yerine geliştirmeyi ve değerlendirmeyi tek bir küçük ekipte tutun: bir prompt değişikliğinden değerlendirme sonucuna uzanan döngü, başka bir ekibe talep açmayı gerektirmeden dakikalar içinde kapanmalı. Bunun için neler gerektiğini yazılımcılar için yapay zeka becerileri notu ele alıyor; kariyer sayfamız da aynı çizgideki örnek rolleri anlatıyor.

Ürün tasarımcısı bir yapay zeka projesinde neden önemlidir?

Çünkü sistemin zaman kazandırıp kazandırmayacağına inceleme adımı karar verir. Tasarımcı; inceleyen kişinin önce neyi göreceğini, önerinin yanında hangi kanıtın duracağını, onaylama, düzeltme ve yetkili kişiye aktarma işlemlerinin nasıl çalışacağını ve müdahale nedeninin nasıl kaydedileceğini tasarlar. Tasarımcı olmadığında inceleme ekranlarını o an vakti olan biri yapar, insanlar bu ekranları sevmez ve ya sistemin etrafından dolaşırlar ya da bakmadan onaylarlar.

Hangi rollere yalnızca zaman zaman ihtiyaç duyulur?

• Güvenlik uzmanı: tasarım aşamasında ve canlıya geçişten önce; prompt enjeksiyonu ve veri sızıntısı testleri dahil.
• Veri koruma görevlisi (DPO): başlangıçta, veri akışı haritalanırken ve canlı veriler akmaya başlamadan önce.
• BT’de entegrasyon sorumlusu: sistem bir temel sistemden okuyor ya da ona yazıyorsa ilk haftadan itibaren, çünkü erişim açmak kod yazmaktan uzun sürer.
• Hukuk: sözleşmeler ve sahiplik koşulları, müşteriye yönelik ifadeler ve düzenlemeye tabi kararlar için.

Onları kontrol noktalarında takvime yazın. İyi pilotlar, son haftada başlayan incelemelerde tıkanır. İki eksik tekrar tekrar karşımıza çıkar: tasarımcı yoksa kimsenin sevmediği inceleme ekranları, süreç sahibinin zamanı yoksa hiç bitmeyen bir değerlendirme seti.

Devir tesliminden sonra sizin tarafınızda kimler görev almalı?

Süreç sahibi kalır; sonuçların ve düzenli değerlendirme toplantısının sahibidir. Bir teknik sorumlu, tercihen iki kişi, devir teslim kontrol listesinde anlatıldığı gibi bir promptu değiştirebilir, değerlendirme setini yeniden çalıştırabilir ve geri alma yapabilir. Ekipteki yapay zeka elçileri yeni rutini canlı tutar. Birkaç iş akışı canlıya geçtiğinde, yapay zeka mükemmeliyet merkezi notunda anlatıldığı gibi, küçük bir merkezi ekip ortak parçaların sahipliğini üstlenebilir.

Tedarikçiden önce neden süreç sahibi belirlenmeli?

Bir tedarikçi ya da model seçmeden önce süreç sahibini belirleyin ve projenin tamamı için zamanını ayırın. Bu yapılamıyorsa proje hazır değildir. Bir Pilottan Canlıya çalışması, sizin süreç sahibinizin etrafında tam olarak bu tür küçük bir ekiple yürür.