Kalibrasyon

Açılış

Mayısın ilk pazartesisi Zeynep Hanım sınıfa girdiğinde tahtanın köşesinde biri bir bulut çizmişti. Perşembe günü onuncu sınıflar Sille'ye bitki gezisine gidecekti; otobüs tutulmuş, izin kâğıtları toplanmıştı. Berk telefonunu kaldırdı: hava durumu uygulaması perşembe için "yağış olasılığı yüzde yetmiş" diyordu.

"Yağacak demek," dedi Berk. "Gezi yandı."

Mert itiraz etti. Ona göre yüzde yetmiş, Konya'nın yüzde yetmişine yağmur düşecek demekti; belki Sille kalan yüzde otuzdaydı. Elçin başka bir şey anlamıştı: günün yüzde yetmişinde, yani saatlerin çoğunda yağacaktı. Üç öğrenci aynı sayıya bakıyor, üç ayrı şey okuyordu.

Zeynep Hanım tartışmayı kesmedi, bir soru ekledi: "Uygulama bu sayıyı söylerken ne vaat ediyor? Yanıldığını nasıl anlarız?"

Bir süre kimse konuşmadı. Sonra Doruk arka sıradan sordu: "Geçen ay da yüzde yetmiş dediği günler olmuştur. O günler yağdı mı?"

Elçin çantasından sulama defterini çıkardı. İkinci ekimin saksıları okul bahçesine çıkalı beri her sabah uygulamanın yağış olasılığını deftere yazıyordu, çünkü yağacaksa saksıları sulamıyordu. Akşamları da yağıp yağmadığını işaretliyordu. Nisanın otuz günü oradaydı.

Zeynep Hanım tebeşiri aldı ve tahtaya bir soru yazdı: "Yüzde yetmiş dediği günlerin kaçında yağdı?"

Tek fikir

Bir model "yüzde seksen" dediğinde, o sayıyı aldığı durumların gerçekten yüzde sekseninde olay gerçekleşiyorsa model kalibredir. İyi sıralamak ile doğru yüzdeyi söylemek ayrı becerilerdir; ikincisi ancak tahminler gerçekleşenlerle kova kova karşılaştırılarak ölçülür.

Nasıl çalışır

Elçin'in defterinde uygulama nisan boyunca yalnız beş değer kullanmıştı: yüzde on, otuz, elli, yetmiş ve doksan. Sınıf otuz günü bu değerlere göre beş gruba ayırdı ve her grupta yağışlı günleri saydı.

Tahtadaki sorunun cevabı dördüncü satırda: uygulama yüzde yetmiş dediği yedi günün dördünde haklı çıkmıştı, yani yüzde elli yedi. Yüzde doksan dediği altı günde ise yağmur dört kez yağmıştı. Bu sıklık yüzde yetmişin bile altında kalıyor; uygulamanın en emin olduğu günler, söylediğinden yirmi üç puan az tutmuştu.

Tablonun öteki yüzü de önemli. Sıklıklar yukarıdan aşağı düzenli biçimde artıyor: uygulamanın daha yüksek sayı verdiği günlerde gerçekten daha çok yağmış. Sıralama iyi. Ders 7.4'teki ROC eğrisi ve eğri altındaki alan bu düzeni ölçer ve uygulamayı başarılı bulurdu. Ama eğri yalnız sırayla ilgilenir; bütün sayıları ikiye bölsek de, karelerini alsak da aynı kalırdı. Yüzde doksanın gerçekten yüzde doksan anlamına gelip gelmediğini eğri sormaz.

Elçin'in tablosundaki desenin bir adı var: aşırı güven. Uygulamanın yüksek sayıları gerçekleşenden yüksek, alttaki yüzde on ise gerçekleşenden biraz düşük. Sayılar uçlara doğru fazla açılmış. Tersi de olabilirdi; her şeyi yüzde kırk ile altmış arasına sıkıştıran ürkek bir model de kalibre değildir.

Sınıf tabloyu bir kareli kâğıda da çizdi. Yatay eksene uygulamanın dediğini, dikey eksene gerçekleşen sıklığı koydular, beş noktayı işaretlediler ve sol alt köşeden sağ üst köşeye bir köşegen çektiler.

Elçin'in tablosu kendiliğinden kovalara ayrılmıştı, çünkü uygulama yalnız beş değer veriyordu. Çoğu model ise yüzde altmış bir, altmış iki, altmış üç gibi ince sayılar verir. O zaman sayı ekseni yüzde onluk dilimlere bölünür, her dilimdeki tahminlerin ortalaması alınır ve o dilimin gerçekleşen sıklığıyla karşılaştırılır.

Diyagram bir resimdir; iki tahminciyi karşılaştırmak için tek bir sayı da istenir. Bunun en eski ve en sade yolu bir meteorologdan gelir.

Sözle söyleyelim: yüzde yetmiş deyip yağmur yağdıysa fark sıfır virgül üçtür, karesi sıfır virgül sıfır dokuz. Yüzde yetmiş deyip yağmadıysa fark sıfır virgül yedidir, karesi sıfır virgül kırk dokuz. Emin konuşup yanılmak, karesi alındığı için ağır cezalandırılır.

Elçin'in otuz gününde kareler toplamı altı virgül yedi çıkar; otuza bölünce uygulamanın Brier skoru sıfır virgül iki yüz yirmi üçtür. Bu sayıyı anlamlı kılan şey kıyastır. Sınıf üç rakip tahminci kurdu.

Berk'in kuralı yüzde ellinin üstünü "kesin yağar", altını "kesin yağmaz" diye okumaktı. Otuz günün onunda yanılırdı ve her yanılgı tam bir puan getirirdi: skor sıfır virgül üç yüz otuz üç, dördünün en kötüsü. Mert her gün aynı sayıyı söylemeyi önerdi: nisanda otuz günün on üçünde yağmıştı, yani her gün yüzde kırk üç. Bu tahminci kalibredir ama hiçbir günü ötekinden ayırmaz; skoru sıfır virgül iki yüz kırk altı. Uygulama ondan iyi, çünkü yağışlı günleri gerçekten öne alıyor.

Dördüncü tahminciyi Doruk kurdu. Uygulamanın her sayısını, o sayının nisanda gerçekten tuttuğu sıklıkla değiştirdi: yüzde doksan gördüğünde yüzde altmış yedi, yüzde yetmiş gördüğünde yüzde elli yedi dedi. Sıra hiç değişmedi, yalnız sayılar köşegene çekildi. Skor sıfır virgül iki yüz sekize indi. Kalibrasyonu düzeltmenin en basit yolu budur: model yeniden eğitilmez, çıktısına bir çeviri tablosu eklenir.

Bu sorunun güncel bir yanı var. Derin öğrenmeyle kurulan sınıflandırıcılar da her cevaba bir güven yüzdesi ekler ve bu yüzde çoğu zaman kullanıcıya gösterilen tek bilgidir.

Sahada

Nerede yanılır

Elçin'in yüzde ellilik kovası dört günden ibaretti. İki yağışlı gün yüzde elliyi kusursuz tutturmuş gibi gösteriyor, oysa bir gün daha yağsaydı sıklık yüzde yetmiş beşe çıkardı. Kovalar küçükken diyagramın her noktası bir zar atışı kadar oynaktır. Yorumdan önce her kovada kaç tahmin olduğu yazılır; birkaç tahminlik kovalar ya komşusuyla birleştirilir ya da "yetersiz" diye işaretlenir.

Kalibrasyon bir modelin değil, bir modelle bir topluluğun ilişkisidir. Nisanda tutan yüzdeler, ağustosun kuru günlerinde ya da başka bir şehirde tutmayabilir. Elif'in modeli kampanyadan önce kalibreydi; dosya karışımı değişince sırası korundu, sayıları kaydı. Ders 6.6'daki dağılım kayması burada sessizce çalışır: doğruluk ve alan yerinde dururken yüzdeler anlamını yitirebilir. Kalibrasyon kullanıldığı yerde ve düzenli aralıklarla yeniden ölçülür.

Kalibre olmak, işe yarar olmakla aynı değildir. Mert'in her gün yüzde kırk üç diyen tahmincisi köşegenin üstünde oturuyordu ama perşembe gezisi için hiçbir şey söylemiyordu. Brier de bunu yazmıştı: en faydalı tahminler, tutturulabildiği sürece uç kovalara düşenlerdir. Bir modeli değerlendirirken iki soru birlikte sorulur: sırası iyi mi, sayıları doğru mu?

Ortalama da yanıltır. Bütün kovalarda tahminlerin ortalaması gerçekleşen genel sıklığa eşit çıkabilir, bir kova aşırı güvenli öteki ürkek olduğu hâlde. Toplam sayının tutması, kovaların tuttuğunu göstermez.

Doruk'un çeviri tablosu da bir ayardır. Tablo test kümesine bakılarak kurulursa, Ders 6.2'deki gibi test sonucu iyimser çıkar. Tablo doğrulama verisinde kurulur, sonra test kümesinde bir kez sınanır.

Uygulama

Bu çalışmada kurgusal yirmi tahminle bir güvenilirlik tablosu kuracak, diyagramını çizecek, Brier skorunu hesaplayacak ve tahminciyi iki rakiple karşılaştıracaksın. Kâğıt, kalem ve hesap makinesi yeter.

1. Uygulama yirmi paket için yalnız üç değer vermiş. Yüzde yirmi dediği beş paketin biri geç kalmış. Yüzde elli dediği altı paketin ikisi geç kalmış. Yüzde seksen dediği dokuz paketin beşi geç kalmış.
2. Her kova için gerçekleşen sıklığı hesapla ve üç satırlık bir tablo yaz.
3. Kareli kâğıda bir kare çiz, köşegeni çek, üç noktayı işaretle. Hangi noktalar köşegenin altında kalıyor?
4. Brier skorunu hesapla. Her kovada geç kalan paketler için birden tahminin çıkarılmasının karesini, zamanında gelenler için tahminin karesini al; hepsini topla ve yirmiye böl.
5. Her pakete aynı sayıyı veren bir tahminci kur: o sayı, yirmi paketin içinde geç kalanların payı olsun. Skorunu hesapla.
6. Yüzde ellinin üstünü "kesin geç kalır", altını "kesin zamanında" diye okuyan bir tahmincinin skorunu hesapla.
7. Uygulamanın her sayısını kendi kovasının gerçekleşen sıklığıyla değiştir ve skoru yeniden hesapla. Sıra değişti mi?
8. Elinde bir hava durumu uygulaması varsa, önümüzdeki iki hafta her sabah yağış olasılığını, her akşam yağıp yağmadığını yaz ve aynı tabloyu kendi verinle kur.

Sayılarını şunlarla kıyasla. Sıklıklar yüzde yirmi, yüzde otuz üç ve yüzde elli beş virgül altı; ikinci ve üçüncü nokta köşegenin altında, uygulama ortada ve yukarıda aşırı güvenli. Kare toplamları sıfır virgül sekiz, bir virgül beş ve iki virgül yetmiş altı; toplam beş virgül sıfır altı, skor sıfır virgül iki yüz elli üç. Sabit tahminci yüzde kırk der ve sıfır virgül yirmi dört alır: kalibrasyonu bozuk uygulama, hiçbir paketi ayırmayan bu tahminciden kötü çıkıyor. Sıfır ve birlerle konuşan tahminci dokuz pakette yanılır, sıfır virgül kırk beş alır. Düzeltilmiş uygulama yaklaşık sıfır virgül iki yüz on sekiz alır ve sıra yerinde kalır.

Defter: Kova tablosunu, diyagramı ve dört skoru «Yüzdeyi tartmak» adlı sayfaya geçir. Altına tek cümle ekle: bu uygulamanın yüzde seksenini bundan sonra kaç olarak okuyacaksın, ve bu okuma hangi aylarda, hangi paketlerde kurulmuş bir tabloya dayanıyor?

Hata köşesi

Sorumluluk

Bir yüzdeyi ekrana yazan, o yüzdenin nasıl okunacağından da sorumludur. Onur'un işi, doğrulama verisinde her kovanın kaç başvurudan oluştuğunu ve gerçekleşen sıklığını tablo hâlinde vermek, ham puanı ekrana koymadan önce bu tabloya göre çevirmektir. Yasin bir başvuruya koşup koşmamaya kendisi karar verir; ama önündeki sayının bir sıklık mı, yoksa yalnız bir sıra mı olduğunu bilme hakkı vardır. Satıcı modelin hangi toplulukta kalibre edildiğini belgeler; kullanan kurum da yüzdelerin kendi verisinde hâlâ tuttuğunu düzenli aralıklarla doğrular. Yanlış bir yüzdeye güvenen kişi kararını iyi niyetle verir; zararı, o kararın öteki ucundaki vatandaş ya da hasta görür.

Kapanış

1. Bir model, verdiği her olasılık değerinde olay gerçekten o sıklıkta gerçekleşiyorsa kalibredir; bu, iyi sıralamaktan ayrı bir beceridir ve ROC eğrisi onu görmez.
2. Güvenilirlik diyagramı tahminleri kovalara ayırıp her kovanın ortalama tahminini gerçekleşen sıklıkla karşılaştırır; Brier skoru tahmin ile sonuç arasındaki farkın karesini ortalar ve emin konuşup yanılmayı ağır cezalandırır.
3. Kalibrasyon bir topluluğa bağlıdır, karışım değişince kayar; bozuk ölçek çoğu zaman modeli yeniden eğitmeden, doğrulama verisinde kurulan bir çeviriyle düzeltilir.

Üç soru

1. Elçin'in tablosunda uygulamanın sıralaması iyi, sayıları ise yukarıda fazla yüksek. Bu iki gözlem nasıl aynı anda doğru olabilir?
2. Her gün yüzde kırk üç diyen Mert'in tahmincisi kalibre olduğu hâlde neden uygulamadan daha kötü Brier skoru alıyor?
3. Elif'in modeli kampanyadan sonra da ilk yüz dosyada otuz dört sahteyi buluyordu. O hâlde Sabri Bey'in "yüzde altmış" okuması neden yanlıştı?

Yanıtlar

1. Sıralama, yüksek sayı verilen günlerde daha sık yağıp yağmadığına bakar; tablodaki sıklıklar yüzde on dörtten altmış yediye düzenli artıyor, yani sıra doğru. Kalibrasyon ise her sayının kendi değerinde tutup tutmadığına bakar; yüzde doksan dediği günler yüzde altmış yedi tutmuş. Sayıların hepsi fazla açılmış olsa da sıraları korunabilir.
2. Kalibre olmak yalnız sayının dürüst olduğunu söyler, ayırt edip etmediğini söylemez. Mert'in tahmincisi her güne aynı sayıyı verdiği için yağışlı günü kuru günden ayırmıyor; skoru sıfır virgül iki yüz kırk altı. Uygulama yağışlı günleri öne aldığı için, sayıları kusurlu olsa da sıfır virgül iki yüz yirmi üç alıyor.
3. Sıralama korunmuştu ama sayıların ölçeği kaymıştı. Elli ile yetmiş arasında puan alan otuz dosyanın yalnız dokuzu sahteydi, yüzde otuz. Dosya karışımı değiştiği için aynı puan artık daha düşük bir sıklığa karşılık geliyordu; yüzdeyi sıklık gibi okumak için güncel bir güvenilirlik tablosu gerekir.

Sonraki derse köprü

Bu derste yüzdeleri kovaların içinde tarttık. Ama Seda Hanım'ın tablosunda üç yüz doksan dokuz gözün yalnız otuz altısı hastaydı; Elif'in dosyalarının da ancak küçük bir kısmı sahte. Ders 7.6, Taban oranı, bu küçüklüğün kendisini soruyor: aradığımız olay nadirken, iyi bir test bile neden çoğu pozitif sonucunda yanılıyor olabilir?