Doğruluk yetmez

Açılış

Nisanın son haftası Kenan Bey, elinde parlak kâğıtlı bir broşürle Elif'in masasına geldi. Bir yazılım firması sahte hasar tespiti için hazır bir model satıyordu ve broşürün kapağında iri harflerle "yüzde doksan sekiz doğruluk" yazıyordu. Kenan Bey broşürü masaya bıraktı. "Sizin modelin sunumunda böyle bir sayı yoktu," dedi. "İlk yüz dosyada otuz dört sahte. Bu yüzde kaç ediyor?"

Elif son üç ayın tablosunu açtı. Dokuz bin altı yüz kapanmış dosya, soruşturmanın sahte bulduğu yüz elli dosya. Kendi modelinin işaretlediği ilk yüz dosyayı sahte, geri kalanını sahte değil sayarak hesapladı. Yüzde doksan sekiz virgül bir çıktı. Broşürdeki sayı, kendi modelinden biraz yüksekti.

Melis yan masadan sandalyesini çekti. Elif tabloya yeni bir sütun ekledi ve her satırına aynı kelimeyi yazdı: "sahte değil." Bu sütun hiçbir dosyaya bakmıyor, hiçbir şey öğrenmiyor, kimseyi soruşturmaya göndermiyordu. Elif onun doğruluğunu da hesapladı. Yüzde doksan sekiz virgül dört dört.

Kenan Bey ekrana eğildi. Üç sayı alt alta duruyordu. En yükseği, hiçbir iş yapmayan sütunundu. Satıcının modeli ikinci sıradaydı. Soruşturma birimine üç ayda otuz dört sahte dosya getiren model en alttaydı.

"Peki bu broşürdeki doksan sekiz," dedi Kenan Bey, "neyi ölçüyor?"

Tek fikir

Bir sınıf çok nadir olduğunda, her örneğe kalabalık sınıfı söyleyen bir kural da çok yüksek doğruluk alır. Bu yüzden doğruluk ancak o kuralın puanıyla birlikte okunur ve hangi hatanın yapıldığını söylemez.

Nasıl çalışır

Önce Kenan Bey'in sorduğu sayıya adını verelim.

Tanım masum görünüyor. Sorun, her doğru cevabın aynı ağırlıkla sayılmasında. Elif'in tablosunda dokuz bin dört yüz elli dosya sahte değil, yüz elli dosya sahte. Doğruluğu, sahte değil dosyalardaki başarı ile sahte dosyalardaki başarının ortalaması gibi düşünebiliriz; ama bu ortalamada her grubun ağırlığı kendi büyüklüğüdür. Sahte dosyaların ağırlığı yüzde bir virgül altıdır. Masum dosyalardaki başarısı aynı kaldıkça, model sahte dosyaların hepsini kaçırsa da hepsini bulsa da doğruluk en fazla bu kadar oynar.

Sahtecilik, makine arızası, nadir hastalık, ağ saldırısı, iade edilen ürün: değerli olan çoğu soru dengesizdir. Aranan şey nadir olduğu için aranır.

Buradan dersin ilk aracı çıkıyor. Her veri için en basit kıyas noktası, her örneğe en çok görülen sınıfı söyleyen kuraldır. Onun doğruluğu, çoğunluk sınıfının payına eşittir. Elif'in tablosunda bu pay yüzde doksan sekiz virgül dört dörttür. Bir sahte hasar modelinin doğruluğu bu sayının altındaysa model, hiçbir şey yapmamaktan daha çok yanılıyordur. Üstündeyse de henüz bir şey kanıtlanmış olmaz; yalnız ilk eşik geçilmiştir.

Yüz doksan iki yanlışın içinde ne olduğunu doğruluk söylemez. Bir model sahte dosyaların yüzünü bulup yüz kırk iki masum dosyayı da şüpheli diye işaretleyebilir: elli sahteyi kaçırmış, yüz kırk iki suçsuzu işaretlemiştir. Bir başkası hiçbir sahteyi bulmayıp kırk iki masum dosyayı işaretleyebilir: yüz elli kaçan, kırk iki boşuna. İki model de tam yüz doksan iki kez yanılır, ikisinin doğruluğu da yüzde doksan sekizdir. Biri soruşturma birimine üç ayda yüz sahte dosya getirir, öteki sıfır.

Bu gözlem yeni sayılmaz. Dengesiz veriden öğrenme üzerine en çok başvurulan derlemelerden biri, sorunu ve ölçüm araçlarını bir arada toplar.

Derlemenin açılış örneği, sağlık alanında yaygın kullanılan bir meme görüntüleri veri setidir. Setteki on bin dokuz yüz yirmi üç görüntü sağlıklı, iki yüz altmışı kanserli hastalara aittir. Yazarlar, bu tür verilerde sınıflandırıcıların çoğunluk sınıfında yüzde yüze yakın, azınlık sınıfında ise yüzde sıfır ile on arasında başarı gösterdiğini aktarır. Azınlık sınıfında yüzde on başarı, iki yüz altmış kanserli hastanın iki yüz otuz dördünün sağlıklı diye sınıflanması demektir. Bütün görüntülere "sağlıklı" diyen bir kural ise yüzde doksan yedi virgül yedi doğruluk alır. Yazarların sonucu açıktır: genel doğruluk ya da hata oranı gibi tek sayılık ölçüler, dengesiz veride yeterli bilgi vermez.

Derlemenin ikinci gözlemi daha az bilinir ve daha önemlidir. Doğruluk, iki sınıfın sonuçlarını birlikte kullandığı için sınıfların oranı değiştiğinde değişir, modelin kendisi hiç değişmese bile.

Kenan Bey'in sorusunun cevabı burada. Broşürdeki yüzde doksan sekiz, satıcının kendi sınama verisinde, o verinin sahte payıyla ölçülmüş bir sayıdır. O pay yazılmamışsa, sayı hiçbir şeyle kıyaslanamaz.

Son bir adım kalıyor. Ders 4.5'te Murat Bey'in kamerasında gördüğümüz asimetrik kayıp burada da geçerli: kaçan bir sahte dosyanın bedeli ile suçsuz bir müşteriyi soruşturmaya göndermenin bedeli aynı değildir. Doğruluk iki hatayı da bir sayar. Hangi modelin daha iyi olduğunu sormak, aslında hangi hatanın daha pahalı olduğunu sormaktır ve bunun için hataları türüne göre ayrı ayrı saymak gerekir.

Sahada

Nerede yanılır

Doğruluğun yanıltıcılığını öğrenen okur bazen öteki uca savrulur ve onu hiç kullanmaz. Sınıflar aşağı yukarı dengeliyse ve iki hatanın bedeli birbirine yakınsa doğruluk hâlâ anlaşılır, dürüst bir özettir. Sorun sayının kendisinde değil, yalnız başına okunmasındadır. Yanına çoğunluk sınıfının payı ve hata türleri yazıldığında doğruluk yeniden işe yarar.

İkinci sorun, sınama verisini dengeleyerek sorunu çözdüğünü sanmaktır. Satıcı modelini yarısı sahte bir örneklemde sınarsa çoğunluk kuralının puanı yüzde elliye iner ve modelin doğruluğu daha anlamlı görünür. Ama model Elif'in şirketinde yüzde bir virgül altılık bir karışımda çalışacaktır; orada doğruluğu da, yaptığı hataların dağılımı da başka olur. Murat Bey'in birinci tedarikçisi tam bu durumdaydı.

Üçüncüsü, en çok görülen sınıf kuralını geçmek bir başarı kanıtı sayılır. O kural yalnız tabandır. Elif'in modelini ölçmenin doğru kıyas noktası, elli iki kurallık eski listedir; satıcının modeli de o listeyle ve Elif'in modeliyle aynı dosyalarda karşılaştırılmalıdır.

Son ve en sessiz sorun etiketlerde. Ders 4.2'de gördüğümüz gibi, Elif'in şirketinde "sahte değil" etiketli dosyaların çoğu hiç incelenmemişti. Yüz elli sahte dosya, bulunanların sayısıdır, var olanların değil. Gerçek sahte payı daha yüksekse, çoğunluk kuralının puanı da modellerin puanı da olduğundan farklıdır. Derlemedeki bir ayrım da burada işe yarar: azınlık sınıfının oranı kadar mutlak sayısı da önemlidir. Yüz elli örnekle bir model sahteciliğin bütün biçimlerini öğrenemez; oran aynı kalıp veri on katına çıksa, öğrenme kolaylaşabilir.

Uygulama

Bu çalışmada, aynı veride üç modelin doğruluğunu ve bedelini kâğıt üzerinde hesaplayıp hangisini seçeceğine karar vereceksin. Kurgusal bir şehir otobüsü işletmesi, ertesi gün yolda arıza yapacak otobüsleri önceden tahmin edip garaja çekmek istiyor. Geçen yılın kaydında dört bin otobüs günü var; bunların ellisinde otobüs yolda arıza yapmış. Önceden garaja çekilen bir otobüs, gerçekten arızalanacak olsa bile yolda kalmıyor.

1. X modeli hiçbir otobüsü işaretlemiyor. Y modeli arızalanacak elli otobüsün otuz beşini ve sağlam yüz altmış beş otobüsü işaretliyor. Z modeli arızalanacak otobüslerin onunu ve sağlam beş otobüsü işaretliyor.
2. Her model için doğru cevap sayısını bul: yakalanan arızalar ile işaretlenmeyen sağlam otobüslerin toplamı. Dört bine böl.
3. Çoğunluk kuralının doğruluğunu hesapla ve X ile karşılaştır.
4. Bedelleri yaz: yolda kalan bir otobüs çekici, iptal edilen seferler ve aktarma ile otuz bin lira; garaja çekilen her otobüs, sağlam da olsa arızalı da olsa, bin beş yüz lira.
5. Her model için toplam bedeli hesapla: kaçan arıza sayısı çarpı otuz bin, artı işaretlenen otobüs sayısı çarpı bin beş yüz.
6. Doğruluk sıralaması ile bedel sıralamasını karşılaştır.
7. Garaj günde en fazla iki otobüse bakabiliyorsa ve yıl yüz iş günü sayılıyorsa, hangi modelin işaretleri bu kapasiteye sığar?

Benim hesabımda X modelinin doğruluğu yüzde doksan sekiz virgül yetmiş beştir; bu, çoğunluk kuralının ta kendisidir. Y modeli otuz beş arızayı ve üç bin yedi yüz seksen beş sağlam otobüsü doğru bilir, doğruluğu yüzde doksan beş buçuktur. Z modeli on arızayı ve üç bin dokuz yüz kırk beş sağlam otobüsü doğru bilir, doğruluğu yüzde doksan sekiz virgül sekiz yedi beştir ve en yüksek doğruluk ondadır. Bedelde sıra tersine döner. X yolda elli arıza bırakır: bir milyon beş yüz bin lira. Z kırk arızayı kaçırır, on beş otobüsü garaja çeker: bir milyon iki yüz yirmi iki bin beş yüz lira. Y on beş arızayı kaçırır, iki yüz otobüsü garaja çeker: yedi yüz elli bin lira. En düşük doğruluk, yarı bedeldir. Yüz iş gününde iki yüz bakım, günde iki otobüs eder; Y kapasiteyi tam doldurur. Bedeller değişirse, örneğin bir garaj ziyareti on bin liraya çıkarsa, sıralama da değişebilir; bu yüzden kararın gerekçesi bedel tablosuyla birlikte yazılır.

Defter: Üç modelin doğruluğunu ve toplam bedelini iki sütun hâlinde yaz; altına, son zamanda okuduğun ya da duyduğun bir yüzde başarı iddiasını not et ve o iddianın aranan şeyin ne kadar nadir olduğunu söyleyip söylemediğini işaretle.

Hata köşesi

Sorumluluk

Satıcının modelini alıp almama kararı Kenan Bey'de, ama karar için hangi sayının gerektiğini Elif yazdı. Firmaya giden e-postada üç soru vardı: sınama verisinde sahte payı neydi, sahte dosyaların kaçı bulundu, kaç masum dosya şüpheli diye işaretlendi. Elif ayrıca modelin şirketin kendi son üç ay dosyalarında, aynı koşullarla sınanmasını istedi. Hangi hatanın ne kadar pahalı olduğuna satıcı karar veremez. Kaçan bir sahtekârlığın bedelini hasar birimi, haksız yere soruşturulan bir müşterinin bedelini de o müşteri ve onu kaybetmek istemeyen satış ekibi taşır. Sabri Bey'in birimi haftada en fazla kırk dosyaya bakabiliyor; işaretlenen her fazladan dosya, gerçekten şüpheli bir dosyanın sırasını geciktirir. Doğrulamayı yapacak olan şirketin kendisidir, broşür değil; sayıyı imzalayan kişi, hangi karışımda ölçüldüğünü de imzalamış sayılır.

Kapanış

1. Doğruluk, doğru cevapların bütün cevaplara oranıdır ve her doğru cevabı aynı ağırlıkla sayar; bu yüzden dengesiz veride nadir sınıftaki başarısızlığı neredeyse hiç göstermez.
2. Her doğruluk sayısı, her örneğe en çok görülen sınıfı söyleyen kuralın puanıyla birlikte okunur; o puan çoğunluk sınıfının payına eşittir ve bir model onun altındaysa hiçbir şey yapmamaktan çok yanılıyordur.
3. Doğruluk sınıfların karışımı değiştiğinde değişir ve hangi tür hatanın yapıldığını söylemez; iki hatanın bedeli farklıysa modeller hata türlerine göre ayrı ayrı sayılarak karşılaştırılır.

Üç soru

1. Açılışta, otuz dört sahte dosya bulan Elif'in modeli neden hiçbir şey yapmayan sütundan daha düşük doğruluk aldı?
2. Murat Bey'in iki tedarikçisinin doğruluk sayıları neden doğrudan kıyaslanamıyordu?
3. Onur'un sınıflandırıcısının yüzde yetmiş dördünü değerlendirirken Hakan Bey hangi kıyas noktasını seçti, doğrusu hangisiydi?

Yanıtlar

1. Elif'in modeli ilk yüz dosyayı işaretledi; bunların otuz dördü sahte, altmış altısı masumdu. Hiçbir şey yapmayan sütun ise yüz elli sahtenin hepsini kaçırdı ama hiçbir masum dosyayı işaretlemedi. Altmış altı yanlış işaretin götürdüğü puan, otuz dört yakalamanın getirdiğinden fazlaydı: sütun yüz elli kez, model yüz seksen iki kez yanıldı. Doğruluk, soruşturmaya giden otuz dört sahteyi masum dosyalardaki yanlışla aynı tartıda saydı.
2. Birinci tedarikçi kamerasını yarısı ezik bir örneklemde, ikincisi bandın gerçek akışında, binde üç ezikle sınadı. Doğruluk sınıfların oranına bağlı olduğu için, aynı kamera iki karışımda iki farklı sayı verir. İkinci sayının çoğunluk kuralının altında kaldığı, birinci kameranın bantta binlerce sağlam kutuyu reddedeceği ancak iki raporu aynı karışıma taşıyınca görüldü.
3. Hakan Bey sekiz müdürlük arasında rastgele seçimin puanını, yüzde on iki buçuğu aldı. Ama başvurular eşit dağılmıyordu; yüzde altmış biri tek bir müdürlüğe gidiyordu. Doğru kıyas noktası, her başvuruyu o müdürlüğe yollayan kuralın yüzde altmış biriydi ve yüzde yetmiş dört, ondan yalnız on üç puan yukarıdaydı.

Sonraki derse köprü

Bu derste hataları hep tek bir sayıda topladık ve yüz doksan iki yanlışın içinde neler olduğunu ancak elle ayırabildik. Ders 7.2, Karışıklık matrisi, bu ayırmayı düzenli bir tabloya çeviriyor: modelin her cevabını gerçekte ne olduğuyla eşleştirip dört kutuya dağıtıyor. Yakalanan sahte, kaçan sahte, suçsuz yere işaretlenen dosya ve haklı olarak geçilen dosya ayrı ayrı sayıldığında, Elif'in firmaya yazdığı üç sorunun hepsi aynı tablodan okunabilir hâle geliyor.