Abartı ve korku arasında

Açılış

Bir pazar akşamı Elif'in telefonu aile grubunda iki kez titredi. İkisini de annesi göndermişti, aralarında üç saat vardı. Öğleden sonraki bağlantının başlığı şöyleydi: "Yapay zekâ doktorlardan daha iyi tanı koyuyor." Akşamki daha kısaydı: "Yapay zekâ işlerin yarısını yok edecek." Altında annesinin notu duruyordu: "Kızım, ilkine sevindim, ikincisine üzüldüm. Senin işin de gidecek mi?"

Elif ilk haberi açtı. Metin dört paragraftı; bir araştırmaya göre bir yazılımın hastalıkları doktorlar kadar, hatta onlardan daha iyi bulduğunu söylüyordu. Hangi hastalık olduğunu yazmıyordu. Hangi doktorlar olduğunu, kaç hastaya bakıldığını, araştırmanın ne zaman yapıldığını da yazmıyordu. İkinci haber bir üniversiteden araştırmacıların hesabına dayanıyordu ve "yüzde kırk yedi" sayısını büyük harflerle veriyordu; hangi ülkenin işleri olduğu, hangi yılın hesabı olduğu son paragrafta bile geçmiyordu.

Elif'in ekranında bir gün önce bıraktığı başka bir sayı vardı. Hasar tutarı modelinin yeni sürümünü sınamış, ekibine "son üç ayın dosyalarında ortalama sapma geçen yılın yarısına indi" diye yazmıştı. O cümleyi yazmadan önce üç şeyi kontrol etmişti: sapmayı hangi dosyalarda ölçtüğünü, eski modelle aynı dosyalar üzerinde mi karşılaştırdığını ve dosyaların hangi aylardan geldiğini. Bunu kendi işinde kimse ondan istemiyordu; Ders 1.4'te yedek parça zamlarından sonra tahminleri aydan aya geride kalan model ona öğretmişti.

Annesine cevap yazmak için klavyeye dokundu, sonra durdu. İki başlık birbirinin tersini söylüyordu, biri sevindiriyor biri korkutuyordu. Ama ikisinde de eksik olan şey aynıydı ve bu, Elif'in kendi raporlarında asla eksik bırakmadığı şeydi.

Tek fikir

Abartı da korku da aynı okuma hatasından beslenir: sayıyı ölçüldüğü yerden koparmak. Bir yapay zekâ iddiasını tartmadan önce ne ölçüldüğünü, kime göre ölçüldüğünü ve hangi tarihte ölçüldüğünü sor.

Nasıl çalışır

Bir başlık, bir ölçümün sonucunu taşır ama ölçümün kendisini taşımaz. "Doktorlardan daha iyi" cümlesi, bir yerde bir grup görüntü üzerinde bir yazılımla bir grup hekimin karşılaştırıldığını ve bir sayının ötekinden büyük çıktığını söyler. Görüntüleri, hekimleri, sayının türünü ve tarihi atınca geriye yalnız yön kalır: iyi ya da kötü, umut ya da tehdit. Abartı o yönü yukarı, korku aşağı okur; altlarındaki boşluk ortaktır. Boşluğu üç soruyla doldurabilirsin.

Ne ölçüldü? Bu soru üç parçalıdır: hangi görev, hangi veri, hangi ölçüt. "Tanı koymak" bir hekimin yaptığı geniş bir iştir: hastayı dinler, muayene eder, geçmişine bakar, gerekirse tetkik ister. Bir yazılımın ölçüldüğü görev çoğu zaman bunun dar bir dilimidir: önüne konan tek bir görüntüde belirli bir hastalığın olup olmadığını söylemek. Veri, o görüntülerin nereden geldiğidir. Ölçüt ise başarının hangi sayıyla tutulduğudur: hastaların ne kadarının yakalandığı mı, sağlam denenlerin ne kadarının gerçekten sağlam olduğu mu. Yapay zekâ araştırmalarında bu üç parçayı sabitleyen ortak bir araç vardır.

Kıyas seti yararlıdır: iki sistemi aynı sorularla sınamadan hangisinin daha iyi olduğunu söyleyemezsin. Ama bir sınırı vardır. Kıyas setindeki yüksek puan, sistemin o setteki görevi o setteki örneklerde iyi yaptığını söyler. Başka bir hastanenin cihazından, başka bir ülkenin hastalarından, başka bir yılın görüntülerinden gelen örneklerde ne olacağını söylemez. Bu sorunun cevabı için sistemi hiç görmediği, başka bir kaynaktan gelen verilerle sınamak gerekir; tıpta buna dış doğrulama denir.

Elif'in annesine gelen haber, büyük olasılıkla bu alandaki onlarca çalışmadan birine dayanıyordu. Aynı soruyu bütün alana sormuş bir çalışma var.

Bu kart bir başlığı ne doğrular ne de çürütür; başlığın ne kadar dar bir zemine bastığını gösterir. "Eşdeğer" sonucu, otuz bin çalışmalık bir taramanın sonunda kalan on dört karşılaştırmaya dayanıyor. Üstelik ölçülen görev görüntüden sınıflandırmadır, hastanın tamamına bakmak değil.

Kendi veri setinde ölçülen başarının başka bir kuruma her zaman taşınmadığını gösteren bir ölçüm de aynı dergide, aynı yıl çıktı.

Kime göre? İkinci soru da üç yöne bakar. İlki, ölçümün hangi insanlar üzerinde yapıldığıdır: hangi hastanenin hastaları, hangi yaş grubu, hangi ten rengi, hangi ülke. İkincisi, kiminle karşılaştırıldığıdır: "doktorlar" bir uzman radyolog da olabilir, görüntüye ilk kez bakan bir asistan da; karşılaştırılan kişiye hastanın öyküsü verildi mi, verilmedi mi? Üçüncüsü, ölçümü kimin yaptığı ve sonuçtan ne beklediğidir. Ders 1.5'te bir telefon üreticisinin yüz kilidi için verdiği milyonda bir sayısını bağımsız bir ölçüm değil, üreticinin kendi beyanı olarak okumuştuk; aynı ayrım her alanda geçerlidir. Ürününü satan şirketin ölçümü yanlış olmak zorunda değildir, ama hangi sonucu yayımlayacağını seçen de odur.

İş kaybı başlığına aynı soruyu sorunca tablo değişir.

Kartı başlığın yanına koyunca üç fark görünür. Başlık "işler" diyordu; hesap tek bir ülkenin meslek kategorileri içindi. Başlık "yok edecek" diyordu; hesap "teknik olarak yatkın" diyordu ve kaç işin gerçekten kaybolacağını sormuyordu. Başlıkta tarih yoktu; hesap iki bin on üçte yapılmıştı.

Hangi tarihte? Bu soru iki saati birden okur. Birincisi sistemin saatidir: hangi sürüm, hangi yılın verisiyle eğitilmiş, ölçüm ne zaman yapılmış. Liu ve arkadaşlarının derlemesi iki bin on dokuz ortasına kadar yayımlanmış sistemleri kapsar; iki bin yirmi altıda bir haber o sonuçları bugünkü bir yazılım için kullanıyorsa, yedi yıl öncesinin sistemlerini anlatıyordur. Sistem o arada daha iyi de olmuş olabilir, hiç değişmemiş de. İkincisi iddianın saatidir: sonuç hangi aşamada yayımlandı?

Ön baskılar hızlıdır ve yapay zekâ araştırmasında çok yaygındır; yeni sonuçların büyük bölümü önce bu yoldan dolaşıma girer. Hakem değerlendirmesi hatasızlık garantisi vermez, ama ön baskıda henüz kimse yöntemi dışarıdan sorgulamamıştır. Haber bir ön baskıya dayanıyorsa bunu bilmek, iddiayı yanlış saymak için değil, ona ne kadar ağırlık verileceğini ayarlamak içindir. Aynı makalenin ön baskısıyla dergi sürümü arasında sayıların değiştiği de olur; Frey ve Osborne'un hesabı çalışma metni olarak çıktıktan dört yıl sonra dergide yayımlandı ve başlıkların çoğu ilk sürüme dayandı.

Üç soru birlikte sorulunca başlık bir tartıya dönüşür. "Doktorlardan daha iyi" başlığı, dar bir sınıflandırma görevinde, az sayıda aynı örneklemli karşılaştırmada, birkaç yıl öncesinin sistemleriyle bulunmuş bir eşdeğerliğe iner. "İşlerin yarısı" başlığı, tek bir ülkede, on yılı aşkın süre önce yapılmış bir yatkınlık tahminine iner. Bu iniş iddiaları önemsizleştirmez; yalnız başlığın vardığı yere kanıtın varmadığını gösterir.

Sahada

Nerede yanılır

Üç soru bir kalkan gibi de kullanılabilir ve o zaman yeni bir okuma hatası doğar. "Dış doğrulaması yok, öyleyse çalışmıyor" demek, "doktorlardan iyi" demek kadar acelecidir. Dış doğrulamanın olmaması, sistemin başka yerde nasıl davranacağının bilinmediği anlamına gelir; kötü davranacağı anlamına gelmez. Liu ve arkadaşlarının derlemesinde aynı örneklemde yapılan karşılaştırmalar az ama eşdeğer sonuç verdi. Sorular cevabı bilinmeyen yeri gösterir; o yeri olumsuz bir cevapla doldurmak, olumlu bir cevapla doldurmak kadar keyfidir.

Sık rastlanan ikinci yanılgı, soruları haber metnine sorup kaynağa hiç gitmemektir. Haber "bir araştırmaya göre" diyorsa, kime göre sorusunun cevabı haberin kendisinde değil, araştırmadadır. Haberler sayıları yuvarlar, koşulları düşürür, bazen yanlış aktarır. Nermin Hanım'ın rahatlaması tabloyu bulduğu anda başladı, başlığı tekrar tekrar okuduğu günlerde değil. Kaynağa ulaşılamıyorsa bunun kendisi bir bilgidir: iddia, sınanabilir biçimde sunulmamıştır.

Üçüncü yanılgı tarihle ilgilidir. Eski bir ölçüm otomatik olarak geçersiz değildir. Kıyas setindeki puanla sahadaki başarı arasındaki farkın nedenleri, yani verinin değişmesi, nüfusun farklı olması, görevin dar tanımlanması, yıllar geçse de aynı kalır. Değişen sayıdır, mekanizma değil. Tarih sorusu "bu sonuç eski mi" diye değil, "bu sonuç hangi sistem için, hangi koşulda doğruydu" diye sorulduğunda işe yarar. Bunu fark etmenin yolu basittir: bir iddiayı reddederken kullandığın gerekçe, aynı iddianın tersini kabul ederken de geçerli mi, ona bak.

Uygulama

Bu derste bir başlığı kaynağına kadar izleyeceksin ve üç sorunun cevabını haberden değil, kaynaktan yazacaksın.

Bitirdiğinde iki sütunu karşılaştır. Haberin söylediği ile kaynağın söylediği arasında en büyük fark hangi soruda çıktı? Çoğu zaman bu "kime göre" ya da "hangi tarihte" olur, ama senin örneğin farklı olabilir. Son olarak başlığı, kaynağın gerçekten desteklediği kadar yeniden yaz. "Yapay zekâ doktorlardan daha iyi" yerine "iki bin on dokuza kadarki az sayıda karşılaştırmada, görüntü sınıflandırmada hekimlerle benzer sonuç" gibi.

Defter: "Başlık ve kaynak" adlı sayfaya üç sütunlu bir tablo çiz: soru, haberin cevabı, kaynağın cevabı. Üç satırı doldur, altına yeniden yazdığın başlığı ekle ve haberle kaynak arasındaki en büyük farkın hangi soruda çıktığını tek cümleyle not et.

Hata köşesi

Sorumluluk

Bir başlığı iletmek de küçük bir karardır. Elif'in annesi iki bağlantıyı iyi niyetle gönderdi ve iki habere de inanarak bir sevinç, bir kaygı yaşadı. Sayıyı ölçüldüğü yerden koparan kişi çoğu zaman yalnız onu ileten değil, ilk yazan da değildir; ama zincirin her halkası onu biraz daha koparabilir. Seda Hanım'ın satın alma kararı onun sorumluluğundaydı ve kararı firmanın broşürüne değil, doğrulanmış bir sınamaya bağladı. Onur, bir kıyas setindeki sıralamanın memurların işi hakkında bir karara dönüşmesini durdurdu. Sistemi satanların sorumluluğu, ne ölçtüklerini, kimin üzerinde ölçtüklerini ve hangi tarihte ölçtüklerini açıkça yazmaktır. Okurunki ise bir sayıyı başkasının hayatı hakkında bir karara dayanak yapmadan önce, o sayıyı kaynağında doğrulamaktır.

Kapanış

1. Abartı da korku da bir yapay zekâ sayısını ölçüldüğü yerden koparmakla başlar; başlık ölçümün yönünü taşır, koşullarını taşımaz.
2. Bir başlığa inanmadan ya da onu paylaşmadan önce üç soru sor: ne ölçüldü (görev, veri, ölçüt), kime göre ölçüldü (hangi insanlar, hangi karşılaştırma, kim ölçtü) ve hangi tarihte ölçüldü (hangi sistem, ön baskı mı hakemli yayın mı).
3. Kıyas setindeki yüksek puan o setteki görevi gösterir; başka bir kurumun, başka bir nüfusun ya da başka bir yılın verisinde ne olacağını yalnız dış doğrulama söyler.

Üç soru

1. Bir haber "yapay zekâ bir okuma sınavında öğrencilerden daha yüksek puan aldı" diyor. Ne ölçüldüğünü anlamak için hangi üç parçayı ararsın?
2. Bir şirket, kendi sohbet asistanının müşteri sorularının yüzde doksan beşini doğru yanıtladığını duyuruyor. Kime göre sorusu burada neyi ortaya çıkarır?
3. İki bin on üçte yapılmış bir otomasyon tahmini iki bin yirmi altıda bir haberde kullanılıyor. Tarih bu tahmini geçersiz kılar mı?

Yanıtlar

1. Görevi, veriyi ve ölçütü ararsın. Görev: sınav hangi beceriyi ölçüyordu, metni anlamayı mı, çoktan seçmeli soruyu işaretlemeyi mi? Veri: sorular hangi dilde, hangi sınavdan, sistemin daha önce görmüş olabileceği yayımlanmış sorular mıydı? Ölçüt: puan doğru cevap oranı mı, yoksa başka bir hesap mı? "Öğrenciler" de hangi yaşta, hangi koşulda sınava girmişti, o da ayrıca sorulur.
2. Ölçümü kimin yaptığını ve hangi sorular üzerinde yaptığını ortaya çıkarır. Şirket kendi ürününü, kendi seçtiği sorularla ölçmüş olabilir; zor sorular sette yoksa oran yüksek çıkar. Ayrıca "doğru" kararını kimin verdiği, bir insan mı yoksa başka bir otomatik ölçüt mü, belirtilmeli. Bağımsız bir sınama yoksa bu üreticinin beyanıdır.
3. Kendiliğinden geçersiz kılmaz, ama neyi anlattığını değiştirir. Tahmin, iki bin on üçün teknolojisine ve o zamanki meslek tanımlarına göre yapılmıştır; aradaki yıllarda hem teknoloji hem işler değişmiştir. Doğru okuma: o tarihte, o ülke için, o yöntemle yapılmış bir yatkınlık tahmini. Bugüne dair bir sonuç için daha yeni bir ölçüm gerekir.

Sonraki derse köprü

Bu derste kurduğumuz üç soru bir başlığı okurken işe yarar, ama cevaplar bir yere yazılmadıkça her yeni başlıkta yeniden sıfırdan başlarsın. Ders 1.7, Yapay zekâ defteri, akademi boyunca tutacağın defteri açıyor: bir modelle kendin yaptığın denemeyi, gündelik hayatta yaptığın gözlemi ve bir iddiayı kaynağına kadar izlediğin doğrulamayı nasıl ayrı ayrı kaydedeceğini kuracak.