Sonsal öngörü kontrolü

Açılış sahnesi

Kantindeki madeni para bu kez gerçekten atıldı: on atış, yedi tura. Masadaki kâğıt peçetenin üstünde artık bir sonsal duruyor. Arkadaşlardan biri p için 0,1, 0,3, 0,5, 0,7 ve 0,9 değerlerine baştan eşit ağırlık vermişti; yedi turadan sonra ağırlığın yaklaşık yüzde 59'u 0,7'ye, yüzde 26'sı 0,5'e, yüzde 13'ü 0,9'a kaymış.

Öteki arkadaş peçeteyi kendine çekip bir soru soruyor: "Bu model, bizim gördüğümüze benzeyen atışlar üretebiliyor mu?" Sonsal bir sayı veriyor, ama o sayı modelin doğru olduğu varsayımı altında geçerli. Model gerçekte görülene hiç benzemeyen şeyler üretiyorsa, sonsal kusursuz hesaplanmış bir yanlış cevaptır. Bu ders o soruyu sayılarla sormak hakkında.

Bu derste ne olacak

Önce sonsaldan yeni atışlar öngörecek ve kantindeki yedi turanın bu öngörünün neresine düştüğünü elle hesaplayacağız. Sonra kontrolün hangi özelliklere baktığını ve neleri yakaladığını, bir haftalık atış kaydıyla göreceğiz. Ardından dersin en ince noktasına geleceğiz: modelin kendi verisine uyması neden bir başarı sayılmaz. Son bölümde veriyi ezberleyen bir modelin, kontrolü nasıl fazla iyi geçtiğini ve yeni atışlarda nasıl çöktüğünü hesaplayacağız.

Sıfır noktası

Önsel öngörü kontrolünü işleyen L02-P02-M03-D04'te modeli veri görülmeden sınamıştın: önselden p çekip sahte atışlar üretmiş, bunların makul olup olmadığına bakmıştın. Bu ders onun ayna görüntüsü. Aynı üretim döngüsü çalışıyor, ama p artık önselden değil, veriyle güncellenmiş sonsaldan çekiliyor.

Önce sonsalın kendisini elle kuralım. Beş p değerinin yedi turayı öngörme olasılıkları yaklaşık 0,00001, 0,009, 0,117, 0,267 ve 0,057; toplamları 0,450. Önsel ağırlıklar eşit olduğu için sonsal ağırlık, her olabilirliğin bu toplama bölümü: 0,7 için 0,267 ÷ 0,450 ≈ 0,593, 0,5 için 0,117 ÷ 0,450 ≈ 0,260, 0,9 için 0,057 ÷ 0,450 ≈ 0,127 ve 0,3 için yaklaşık 0,020. Sonsal ortalama, her p'nin ağırlığıyla çarpılıp toplanmasıyla çıkar: 0,3 × 0,020 + 0,5 × 0,260 + 0,7 × 0,593 + 0,9 × 0,127 ≈ 0,665.

Şimdi öngörüye geç. Kantindeki para yeniden on kez atılsa, beklenen tura sayısı 10 × 0,665 ≈ 6,7 olur. Tek bir beklenen sayı yetmez, dağılımın tamamı gerekir: her p için on atıştaki tura sayısının binom olasılıklarını hesaplayıp sonsal ağırlıklarla toplarsan, dört ile dokuz arasındaki sonuçların olasılıkları 0,079, 0,127, 0,174, 0,196, 0,175 ve 0,124 çıkar. Bunların toplamı 0,875, yani model yeni on atışın yaklaşık yüzde 88 olasılıkla dört ile dokuz tura arasında kalmasını bekliyor. Gerçekte görülen yedi bu aralığın tam ortasında ve dağılımın en olası tek değeri.

Karmaşık modellerde bu toplam elle yapılamaz, ama aynı fikir bir benzetimle kurulur. Sonsaldan bir p çekersin, o p ile on atış üretirsin ve bunu binlerce kez tekrarlarsın. Ortaya çıkan sahte veri kümeleri topluluğu, modelin "bu para yeniden atılsa ne görürüz" sorusuna verdiği cevaptır.

Mekanizma

Neye bakılıyor

Karşılaştırma tek bir sayıyla yapılmaz, verinin birden çok özelliğine bakılır. Dağılımın biçimi, üretilen verilerin gerçek veriye benzer biçimde yayılıp yayılmadığını gösterir. Uçlar, gerçek veride görülen en küçük ve en büyük değerlerin model tarafından üretilip üretilemediğini sorar. Yayılım gözlenen değişkenliği, özel örüntüler ise sıfır yığılması, kümelenme ya da zamanla kayma gibi yapıları yoklar. Tura sayısı bunlardan yalnız biri ve kantin örneğinde model onu rahatça üretti.

Kontrolün mantığı, rakip hipotezleri tartarken kullanılan ayırt edici kanıt kuralına dayanır. Model doğruysa gerçek veri, modelin ürettiği sahte kümeler arasında sıradan görünmelidir. Gerçek veri binlerce sahte kümenin hep bir ucunda kalıyorsa, modelin o özelliği yakalayamadığı düşünülür.

Ne yakalıyor

İlk tipik bulgu aşırı yayılım. Diyelim iki arkadaş bir hafta boyunca her öğle on atış yaptı, ama her gün kantinin bozuk para kutusundan başka bir para aldılar. Beş günün tura sayıları 2, 9, 3, 10 ve 1; toplam 25 tura, 50 atış. Tek bir p varsayan model bu toplamı görünce sonsal ağırlığın yaklaşık yüzde 97,5'ini 0,5'e veriyor. Bu modelle bir günlük on atışın üç ile yedi tura arasında kalma olasılığı yaklaşık 0,89, yani bir günün bu aralığın dışına düşme olasılığı 0,11. Beş günde dışarıda kalması beklenen gün sayısı 5 × 0,11 ≈ 0,55. Gerçekte dört gün dışarıda.

Aynı şeyi tek bir özetle de görebilirsin: en çok turalı gün ile en az turalı gün arasındaki fark 10 − 1 = 9. Model bu farkı ortalama 3,6 civarında üretiyor ve 9 ya da daha büyük bir fark üretme olasılığı yaklaşık on binde dört. Gerçek veri, sahte kümelerin en ucunda duruyor. Binom dağılımını işleyen L02-P02-M02-D02'deki aşırı yayılım tam budur: bağımsızlık ya da homojenlik bozulmuştur, burada her gün farklı bir para kullanıldığı için homojenlik.

İkinci bulgu yanlış kuyruk. Model uçları yeterince üretemez; çarpımsal bir sürece toplamsal bir dağılım uydurulduğunda, gerçek verideki çok büyük değerler sahte kümelerde neredeyse hiç çıkmaz. Üçüncüsü yakalanmayan yapı: veride modelin hiç öngörmediği bir örüntü vardır, örneğin zamanla kayma ya da alt gruplar. Bu üçüncüsü en değerlisidir, çünkü modelin dışarıda bıraktığı şeyi gösterir; haftalık örnekte model "para her gün aynı" diye yazılmıştı ve kontrol bu yazılmamış varsayımı yüzeye çıkardı.

Kontrolün gücü veri miktarıyla sınırlıdır ve bunu da hesaplamak gerekir. Kantindeki ilk on atışın sırası üç yazı ve ardından yedi tura olsaydı, sonuç arka arkaya tek bir değişim içerirdi. Model bir ya da hiç değişim içermeyen on atışı yaklaşık 0,10 olasılıkla üretiyor; bu, dikkat çekici ama sıra dışı değil. On atış böyle bir kaymayı ayırt etmeye yetmez; kontrolün bir şey söyleyebilmesi için daha uzun bir kayıt gerekir.

En önemli sınır: kendi verisine uymak

Kantin örneğine geri dön. Gerçekte görülen yedi tura, modelin en olası tek sonucuydu. Bu bir tesadüf değil, çünkü sonsal tam da o yedi turaya bakılarak kuruldu. Sonsal öngörü kontrolü modelin uydurulduğu veriyle yapılır ve model o veriye zaten uymaya çalışmıştır. Kontrol, modele baştan bir avantaj tanır.

Bu yüzden iki kontrol farklı iş yapar. Sonsal öngörü kontrolü modelin açık uyumsuzluklarını yakalar: haftalık örnekteki gibi kalırsan güçlü bir bilgi edinirsin, kantindeki gibi geçersen zayıf bir bilgi. Asıl sınama modelin görmediği veridir. Diferansiyel denklem fikrini işleyen L02-P01-M03-D06 bunu modelin sınanması diye adlandırmıştı: model, kurulurken kullanılmayan bir veri üzerinde öngörü yapar ve öngörü gözlenenle karşılaştırılır. Kantinde bu, sonsalı kurduktan sonra paranın yeniden atılması demek.

Kartın notundaki iki koşul, karmaşıklık ve küçük örneklem, kantin masasında ikisi birden var. On atış çok küçük bir örneklem ve birazdan göreceğin model olabilecek en karmaşık model.

Karmaşıklık tuzağı

Model karmaşıklaştıkça veriye uyumu iyileşir, ama bu iyileşmenin bir kısmı gerçek yapıyı değil gürültüyü yakalamaktan gelir. En uç hâlini kantinde kurabilirsin. Üçüncü bir arkadaş "her atışın kendi p'si var" diyen bir model öneriyor: on atış için on ayrı p. Veriye en iyi uyan değerler tura gelen atışlarda 1, yazı gelenlerde 0 ve bu model gözlenen sırayı 1 olasılıkla, yani kesinlikle üretiyor. Tek p'li model aynı sırayı 0,7⁷ × 0,3³ ≈ 0,0022 olasılıkla üretiyordu. Uyum ölçütüyle bakınca ezberleyen model yaklaşık 450 kat daha iyi.

Şimdi parayı yeniden on kez at. Ezberleyen model yeni atışların eski sırayı birebir tekrar edeceğini öngörüyor, başka her sıraya sıfır olasılık veriyor. Paranın gerçek eğilimi 0,7 olsa bile yeni on atışın aynı sırayı tekrarlama olasılığı yine 0,0022, yani model yaklaşık binde 998 olasılıkla yanılıyor. Tek p'li model ise yeni atışlarda da "altı-yedi tura civarı" der ve çoğu zaman haklı çıkar. Geliştirme verisinde en iyi, yeni veride en kötü.

Karmaşık bir model daha gerçekçi değildir, daha çok varsayım taşır; ezberleyen modelin varsayımı her atışın kendine özgü ve tekrarlanabilir olmasıydı. Bu yüzden sonsal öngörü kontrolü tek başına bir model seçme aracı olamaz, çünkü en karmaşık model onu her zaman en rahat geçer. Bayes faktörü bu sorunu farklı bir yoldan çözer: esnek modelin öngörüsünü geniş yaymak zorunda kalmasını cezalandırır.

Klinik gerçeklik

Bayesçi bir model sonucu okuduğunda önce sonsal öngörü kontrolünün yapılıp yapılmadığını sor; yapılmışsa hangi özelliklerin karşılaştırıldığına bak. Haftalık örnekte toplam tura sayısı modele sorunsuz uyuyordu ve uyumsuzluk ancak günler arası yayılıma bakınca ortaya çıktı. Tek bir özet sayıyla yapılmış bir kontrol, bu tür bir sorunu kolayca kaçırır. Bir hastanın laboratuvar değerlerini, bir tedaviye yanıtı ya da bir hastalığın seyrini öngören bir modelde de uçlar ve yayılım ayrıca sorulmalı.

Ardından modelin bağımsız veride sınanıp sınanmadığını ara. Geliştirme verisindeki uyum ne kadar parlak olursa olsun, ezberleyen modelin kantindeki 450 katlık üstünlüğü yeni atışlarda bir hiçe dönmüştü. Son soru, kaç modelin denendiği ve hangisinin bildirildiği. Çok sayıda model denenip en iyi uyanı yazılmışsa, bu uyum bir seçimin sonucudur; alt grup avcılığının model düzeyindeki hâlidir. Bu dördüncü soru makalelerde en seyrek cevaplanan soru ve çoğu zaman en çok şey söyleyen.

Kendini sına

1. Sonsal öngörü dağılımını tanımla. Önsel öngörü dağılımından tek farkı ne?
2. Kantin sonsalında 0,7'nin ağırlığı neden yaklaşık 0,593? Sonsal ortalamayı ve yeni on atışta beklenen tura sayısını hesapla.
3. Yeni on atış için dört ile dokuz tura arası neden yaklaşık yüzde 88? Gözlenen yedinin bu dağılımda en olası değer olması neden şaşırtıcı değil?
4. Sıra dışılık işareti ne gösteriyor? Hangi kanıt kuralına dayanıyor?
5. Haftalık kayıtta tek p'li model beş günden kaçının üç ile yedi tura dışında kalmasını bekliyordu? Gerçekte kaçı dışarıda? Bu hangi bulgu?
6. Kendi verisine uyma avantajı nedir? Asimetrik sınamada geçmek neden zayıf bilgi?
7. Ezberleyen model gözlenen sırayı tek p'li modelden kaç kat daha iyi üretiyor? Yeni atışlarda neden çöküyor?
8. Gürültüyü öğrenmek nedir? Karmaşık bir model neden daha gerçekçi değil?

Bir sonraki derse köprü

Bu derste sonsalı bir modelin sınavı olarak kullandın; kantindeki para için "p büyük olasılıkla 0,5 ile 0,9 arasında" gibi bir cümle kurmaya çok yaklaştın. Sıradaki derste o cümlenin kendisine geçiyoruz. Güven aralığı ile güvenilirlik aralığı aynı biçimde yazılır ama farklı şeyler söyler: birinde olasılık aralığın kendisine, yöntemin uzun vadeli davranışına aittir, ötekinde gerçek değere. Çoğu okurun güven aralığına yüklediği anlamın aslında hangisine ait olduğunu orada göreceksin.