AI Kalite Güvencesi

Açılış sahnesi

Kırıkkale'de iki şubesi olan bir sürücü kursu, adaylardan gelen soruları sohbet penceresine yerleştirilmiş bir yapay zekâ aracıyla cevaplıyor: kurs ücretleri, sınav tarihleri, gerekli belgeler, direksiyon dersi saatleri. Araç özenle seçilmiş, ayarları tek bir sahibe bağlanmış, erişimler düzenli. Aylarca sorun çıkmıyor; en azından kimse bir sorun duymuyor.

Bir gün kursun müdürü, bir adayın şikâyetiyle son iki ayın konuşmalarını okumaya oturuyor. Okudukça şaşırıyor. Araç, satıcının bir model güncellemesinden sonra, kurs ücretini eski yılın rakamıyla söylemeye başlamış ve bu altı hafta sürmüş. Tekerlekli sandalye kullanan bir adayın uygun araç sorusuna, konuyu geçiştiren kısa bir cevap vermiş. Bir cevabında, başka bir kursun bilinen bir sloganını neredeyse aynen kullanmış. En kötüsü, bir adaya kendi sınav tarihi sorulduğunda, adı benzeyen başka bir adayın tarihini söylemiş.

Hiçbiri bir anda olmamıştı ve hiçbiri bir uyarı üretmemişti. Kurs, aracın kalitesini yalnız şikâyet geldiğinde öğreniyordu; şikâyet etmeyen adayların ne aldığını ise hiç bilmiyordu.

Bu derste ne olacak

Kırıkkaleli sürücü kursu da vakalardaki pastane ve tatlıcılar da kurgudur; sayılar örnek olarak seçildi. Kursun kalite sorunu tek tek hataların varlığı değildi; her yapay zekâ aracı hata yapar. Sorun, hataları bulmak için bir düzen olmamasıydı. Aracın cevapları hiçbir zaman sabit bir soru setine karşı sınanmamış, neyin iyi cevap sayılacağı yazılmamış, canlı cevaplardan düzenli bir örnek okunmamış ve bir değişiklikten sonra neyin bozulduğuna bakılmamıştı.

Önümüzdeki bölümler, bir aracın doğru bilgi verip vermediğini, markanın diliyle konuşup konuşmadığını, herkese adil davranıp davranmadığını, başkalarının haklarına ve güvenlik sınırlarına uyup uymadığını sürekli ölçen bir düzen kuruyor. Önce aracın her zaman sınandığı sabit bir örnek setini göreceğiz. Ardından çıktıların hangi ölçütlerle ve nasıl puanlanacağını, canlı çıktılardan düzenli örnek okumayı ve her değişiklikten sonra geri gidip gidilmediğini sınamayı ele alacağız.

Sıfır noktası

Yapay zekâ çıktısını denetlemenin araçları bu birimde parça parça kuruldu. Üretken yapay zekâ kursu, yayına çıkacak bir metni birkaç ayrı gözle okumayı, görsellerde ve metinlerde eksik kalan insanları aramayı ve markanın sesinin zamanla nasıl silikleştiğini fark etmeyi öğretti; bu araçların adları katmanlı son okuma, temsil denetimi ve ses sapmasıydı. Bu kursun ikinci dersi, aday araçları adları gizlenmiş cevaplar üzerinden kıyaslayan kör karşılaştırmayı kurdu. Bir önceki ders de, bir aracın ayarını değiştirmeden önce sınamayı yapılandırma sahipliğinin bir koşulu yaptı.

Bu denetimlerin hepsi ya bir seçim anında ya da tek bir içerik için yapılıyordu. Müşteriyle her gün yüzlerce kez konuşan bir araç için bunlar yetmez: kimse her cevabı okuyamaz, satıcı modeli habersiz değiştirebilir, dünya değiştikçe doğru cevaplar da değişir. Bu ders, o tek seferlik denetimleri sürekli çalışan bir düzene çeviriyor. Ölçüm birimindeki kontrol sınırı da, bu düzenin puanlarını okumak için yeniden kullanılacak.

Mekanizma — her zaman sorulan sorular

Bir aracın kalitesini zaman içinde izlemenin ilk koşulu, her seferinde aynı soruları sormaktır. Farklı günlerde farklı sorularla yapılan denemeler, aracın mı değiştiğini yoksa soruların mı zorlaştığını ayırt ettirmez. Bu yüzden işletme, aracın karşılaştığı işleri temsil eden sabit bir örnek seti hazırlar ve her örnek için iyi bir cevabın neye benzediğini önceden yazar.

Tuzak soru, güvenlik boyutu.

Set de eskir.

Beş boyut, dengeli.

Mekanizma — neyin iyi sayılacağı

Bir cevabın doğru olup olmadığı bazen kolayca görülür: fiyat ya doğrudur ya yanlış. Ama bir cevabın markanın sesine uygun olup olmadığı, bir müşteriye saygılı davranıp davranmadığı ya da bir şikâyeti yeterince ciddiye alıp almadığı, puanlayan kişiye göre değişebilir. Ölçütler yazılı ve örnekli değilse, aynı cevaba iki kişi farklı puan verir ve zaman içindeki değişim, aracın değil puanlayanların değişimini gösterir.

Sıfır tolerans, ayrı sayılır.

Makine puanlayıcı, insanla ayarlanır.

Mekanizma — canlı cevaplardan düzenli örnek

Altın örnek seti aracın bilinen durumlarda nasıl davrandığını gösterir. Ama müşteriler her gün setin içinde olmayan sorular sorar, yeni ifadeler kullanır, beklenmedik durumlar yaşar. Aracın gerçekte ne yaptığını görmenin tek yolu, canlı cevaplardan düzenli olarak bir örnek almak ve onu puanlama kılavuzuyla okumaktır. Şikâyetler bu işi göremez; şikâyet eden müşteri, kötü cevap alanların yalnız küçük bir bölümüdür.

Riskli konuşmalar, fazladan.

Dalgalanma mı, kayma mı?

Örnekleme önyargıyı da görür.

Usta katmanı — değişiklikten sonra geri gidildi mi

Bir yapay zekâ aracında yapılan her değişiklik, bir şeyi iyileştirirken başka bir şeyi bozabilir. Talimat daha sıcak bir ton için değiştirilir ve araç şikâyetlere de sıcak ve hafif cevaplar vermeye başlar. Bağlam paketine yeni bir ürün eklenir ve eski bir ürünün bilgisi gözden kaybolur. Satıcı modeli günceller ve Türkçede zayıf olduğu yeni bir alan ortaya çıkar. Değişikliğin amaçladığı iyileşme görülür; bozulan şey ise ancak aranırsa bulunur.

Satıcının güncellemesi, sınamayı tetikler.

Bağlam değişikliği de bir değişikliktir.

Küçük işletmede küçük set.

Yaygın hatalar

Aklında kalsın

Altın örnek seti, aracın her zaman sınandığı sabit sorular ve beklenen cevaplardır. Beş boyutu dengeli kapsar, tuzak içerir ve bilgiler değiştikçe güncellenir.

Puanlama kılavuzu, her boyutun nasıl puanlanacağını örneklerle yazar. Sıfır tolerans ölçütleri ortalamadan ayrı raporlanır; makine puanlayıcı önce insanla ayarlanır.

Çıktı örneklemesi, canlı cevaplardan düzenli ve riskli durumlara ağırlık veren bir örnek okur. Puanlar kontrol sınırıyla izlenir; bulunan hatalar sete eklenir.

Gerileme sınaması, her değişiklikten sonra setin tamamını yeniden çalıştırır. Amaçlanan iyileşmenin yanında bir şeyin bozulup bozulmadığına da bakar.

Sonraki derse köprü

Bu derste yapay zekâ araçları için sürekli çalışan bir kalite güvencesi kurmayı ele aldık: altın örnek seti, puanlama kılavuzu, çıktı örneklemesi ve gerileme sınaması. Kırıkkaleli sürücü kursu artık aracın cevaplarını her hafta okuyor ve her satıcı güncellemesinde altın setini yeniden çalıştırıyor.

Ama bu düzeni işletecek olanlar insanlar. Kursun iki şubesindeki danışmanlardan bazıları araca hiç güvenmiyor ve adayların sorularını hâlâ elle cevaplıyor. Bazıları ise aracın taslaklarını okumadan gönderiyor. Yeni gelen bir danışman, altın setin ne olduğunu, puanlama kılavuzunun nerede durduğunu ve bir tuhaflık gördüğünde kime söyleyeceğini bilmiyor.

Sıradaki ders benimseme ve değişim yönetimini ele alıyor: eğitim, iyi kullanım örnekleri, destek ve teşviklerle bir ekipte sorumlu yapay zekâ kullanımını geliştirmeyi orada çalışacağız.