Önsel öngörü kontrolü

Açılış sahnesi

Kantindeki madeni para yine masada, ama bu kez kimse onu atmadı. Önce bir soru soruluyor: paranın tura gelme eğilimi p hakkında ne biliyoruz? Biri "hiçbir şey, bütün değerler eşit olsun" diyor ve p için 0,1, 0,3, 0,5, 0,7 ve 0,9 değerlerine eşit, beşte birlik ağırlık veriyor. Kulağa tarafsız geliyor.

Şimdi bu önselin, on atış yapılmadan önce neyi beklediğini hesapla. Bu önsel, on atışın hepsinin yazı gelmesine, yani sıfır turaya, yaklaşık yüzde 7,6 olasılık veriyor. Hilesiz bir para için aynı sonucun olasılığı 1 ÷ 1024, yani binde birden az. "Tarafsız" görünen önsel, masadaki sıradan bir paranın on kez üst üste yazı gelmesini yaklaşık on üç denemede bir bekliyor. Bu ders, bir önselin veri görülmeden önce ne beklediğini ortaya çıkaran kontrol hakkında.

Bu derste ne olacak

Önce önsel öngörü dağılımını kuracağız ve açılıştaki yüzde 7,6'nın nereden geldiğini elle hesaplayacağız. Sonra kontrolün yakaladığı üç hata türünü sayılarla göreceğiz: imkânsız değerler, gerçekçi olmayan büyüklükler ve fazla dar öngörü. Ardından geniş önsellerin neden güvenli olmadığını, ölçek değiştiğinde sezginin nasıl yanıldığını hesaplayacağız. Son bölümde kontrolün sınırlarına geleceğiz.

Sıfır noktası

Olabilirlik dersinde (L02-P02-M03-D02) yazı-tura örneğiyle sabit bir p için her sonucun olasılığını hesaplamıştık. Önsel öngörü, bu hesabı önseldeki bütün p değerleri için yapıp önsel ağırlıklarıyla toplamaktır. Böylece "p şu olsaydı" sorusu yerine "p hakkında bildiklerimle, veri gelmeden önce ne görmeyi beklerim?" sorusunun cevabı çıkar.

Açılıştaki sayıyı elle kuralım. Her p için on atışta sıfır tura olasılığı (1 − p)¹⁰'dur: p = 0,1 için 0,3487, p = 0,3 için 0,0282, p = 0,5 için 0,00098, p = 0,7 ve 0,9 için neredeyse sıfır. Her birinin önsel ağırlığı 0,2 olduğundan toplam 0,2 × (0,3487 + 0,0282 + 0,00098) = 0,2 × 0,378 = 0,076 eder. Simetri yüzünden on turanın olasılığı da aynı, yani bu önsel iki uç sonuçtan birini yaklaşık yüzde 15 olasılıkla bekliyor.

Karmaşık modellerde bu toplam elle yapılamaz, ama aynı fikir bir benzetimle kurulur. Önselden bir p değeri çekersin, o p ile on atış üretirsin ve bunu binlerce kez tekrarlarsın. Açılıştaki önselle bin tekrar yapsan, üretilen sahte veri kümelerinin yaklaşık 76'sında sıfır tura görürdün. Ortaya çıkan şey, modelin ürettiği sahte veri kümeleri topluluğudur.

Mekanizma

Ne yakalıyor

Kontrolün sorduğu tek soru, modelin ürettiği verilerin gerçekte görülebilecek şeylere benzeyip benzemediği. En keskin cevap imkânsız değerlerde çıkar. Diyelim ki biri p için ortalaması 0,5, standart sapması 0,3 olan bir normal dağılım seçti. Bir olasılık 1'i aşamaz, ama bu dağılımda 1, ortalamanın (1 − 0,5) ÷ 0,3 = 1,67 standart sapma üstünde kalıyor ve bu eşiğin ötesinde yaklaşık yüzde 4,8'lik bir kuyruk var. Aynısı sıfırın altında da geçerli, yani önselden çekilen p değerlerinin yaklaşık yüzde 9,6'sı imkânsız. Bu durumda hesap yanlış değildir, model yanlıştır; bir sayı imkânsız bir yeri gösterdiğinde sorun modeldedir ve burada o işaret sistemli bir yönteme dönüşüyor.

İkinci hata türü, gerçekçi olmayan büyüklükler. Açılıştaki önsel imkânsız bir şey üretmiyor, çünkü on atışta sıfır tura mümkün. Ama sıradan bir para için yüzde 7,6 olasılık, alan bilgisiyle bağdaşmıyor: gündelik madeni paralar tura ve yazıyı yaklaşık eşit sıklıkta verir. Model, alanda nadir olanı sıradan sayıyorsa önsel fazla geniştir.

Üçüncü hata türü bunun tersi, yani fazla dar öngörü. Bir önsel p'yi tam 0,5'e çivilerse on atışta dokuz ya da on tura görme olasılığını (10 + 1) ÷ 1024 = 0,011, yani yüzde 1,1 sayar. Kantindeki kutuda eğilmiş, belirgin biçimde bir yana düşen paralar da varsa, bu model gerçekte görülen değişkenliği hiç üretmez. Üç hatanın ortak yanı, üçünün de tek bir gerçek atış yapılmadan yakalanmasıdır.

"Geniş önsel her zaman güvenli" yanılgısı

Sezgi, önsel ne kadar genişse o kadar tarafsız ve güvenli olacağını söyler. Kontrol yapıldığında bu sezgi bozulur. Açılıştaki önseli, p'yi 0,4, 0,5 ve 0,6 değerlerine sırasıyla 0,25, 0,5 ve 0,25 ağırlık veren daha mütevazı bir önselle karşılaştır. Bu önselin sıfır tura öngörüsü 0,25 × 0,00605 + 0,5 × 0,00098 + 0,25 × 0,00011 = 0,0020, yani yüzde 0,2. Geniş önsel aynı sonucu 0,076 ÷ 0,002 ≈ 37 kat daha olası görüyor.

İki önselin tam beş tura öngörüsü de farkı gösteriyor: geniş önsel yüzde 9,1, dar olan yüzde 22,3 veriyor. Geniş önsel, masadaki paranın en tipik sonucunu daha az, en uç sonuçlarını çok daha fazla bekliyor. "Bilgi taşımıyorum" diyen önsel aslında "bu para büyük ihtimalle belirgin biçimde hilelidir" diyor.

Önsel dağılımı kurarken gördüğün uyarı burada somutlaşıyor: belirsiz önsel tam olarak tarafsız değildir, çünkü hangi ölçekte belirsiz olduğu bir seçimdir. Pratik sonuç da buradan çıkıyor. Zayıf bilgilendirici önsel, belirsiz önselden genellikle daha dürüsttür, çünkü imkânsızı ve alanda görülmeyeni eler ama fazlasını iddia etmez.

Ölçek değişince sezgi yanılıyor

Kartın son cümlesini sayıyla açalım. Oranları modelleyen birçok çözümleme, önseli p'nin kendisine değil, logaritmik bir ölçeğe, olasılığın log-odds değerine koyar. Logaritma dersinde (L02-P01-M02-D04) gördüğün gibi bu ölçekte küçük görünen adımlar büyük katlara karşılık gelir. Log-odds değeri 5 olan bir p, e⁵ ≈ 148,4 olduğu için 148,4 ÷ 149,4 = 0,993 eder; −5 ise 0,007 eder.

Şimdi log-odds ölçeğine ortalaması 0, standart sapması 10 olan "geniş, tarafsız" bir normal önsel koy. Bu dağılımda ±5 sınırı yalnız yarım standart sapma uzakta ve dağılımın yaklaşık yüzde 62'si bu sınırların dışında kalıyor. Yani bu önsel, p'nin yüzde 0,7'nin altında ya da yüzde 99,3'ün üstünde olmasına yüzde 62 olasılık veriyor. Log-odds ölçeğinde düz ve iddiasız görünen önsel, olasılık ölçeğinde neredeyse bütün ağırlığını iki uca yığıyor.

Standart sapması 1 olan bir önsel ise çok daha makul bir tablo çizer. ±2 sınırı iki standart sapmaya denk gelir ve e² ≈ 7,39 olduğu için 7,39 ÷ 8,39 = 0,88 eder. Bu önsel, p'nin yaklaşık yüzde 95 olasılıkla 0,12 ile 0,88 arasında kaldığını söyler; geniş ama uçlara yığılmayan bir iddia.

Kontrolün akademideki yeri

Bu yöntem, akademinin tekrar eden bir kuralının uygulanabilir hâli: ölçütü önce yaz. Sonuç görüldükten sonra seçilen bir ölçüt, sonuca göre seçilmiş olur. Önsel öngörü kontrolü modeli tam olarak böyle, veri görülmeden değerlendirir; açılıştaki yüzde 7,6 da, yukarıdaki yüzde 62 de tek bir gerçek gözlem olmadan hesaplandı.

Bu kontrol aynı zamanda uydurulmuş bir modelle sınanmış bir modeli ayırmanın ilk adımı. Model, veriye uydurulmadan önce makul şeyler öngörüp öngörmediğine göre sınanır. Önce model yazılır, sonra öngörüleri alan bilgisiyle karşılaştırılır, en son veri gelir.

Sınırları

Kontrolün üç sınırı var ve birbirine bağlı. Birincisi, neyin "makul" olduğu alan bilgisinden gelen bir karardır. Madeni paraların yaklaşık eşit düştüğü bilgisi veriden değil, alandan geliyor; bu yüzden kontrol nesnel değildir, ama açıktır ve başkası aynı hesabı tekrarlayıp aynı ölçütle tartışabilir.

İkincisi, kontrolü geçmek modeli doğrulamaz. Mütevazı önselimiz on atışta makul şeyler öngörüyor, ama kantindeki para gerçekten eğilmişse yine yanlış olabilir. Bu, gerekli ama yeterli olmayan bir kontroldür: kalmak güçlü bilgi verir, geçmek zayıf.

Üçüncüsü, kontrol yalnız önseli değil bütün modeli sınar. Saçma öngörüler önselden de gelebilir, model biçiminden de; log-odds örneğinde sorun önselin genişliği kadar, onun hangi ölçeğe konduğuydu. Kontrol bir şeylerin yanlış olduğunu söyler, hangisinin sorumlu olduğunu söylemez.

Klinik gerçeklik

Bir makalede Bayesçi bir çözümleme okuduğunda önce modelin hangi verileri beklediğini sor. Yazarlar önsel öngörü dağılımını ya da ondan bir özet vermişse, üretilen değerlerin alanda görülebilecek aralıkta kalıp kalmadığına bak: bir yanıt oranının, bir kan değerinin ya da bir etki büyüklüğünün simüle edilen yelpazesi, klinikte karşılaşabileceğin değerlerle örtüşüyor mu? İmkânsız değerler, yani negatif derişimler ya da birden büyük olasılıklar görüyorsan, sonuç ne kadar ikna edici görünürse görünsün model sorunludur.

Önsel "belirsiz" ya da "bilgi taşımayan" diye tanıtılıyorsa, hangi ölçeğe konduğunu da sor; log-odds ölçeğinde geniş bir önselin olasılık ölçeğinde uçlara yığıldığını hesapladın. Son olarak kontrolün ne zaman yapıldığına bak. Veri görülmeden, önceden yazılmış bir planla yapılan kontrol güçlüdür; sonuçlar görüldükten sonra önselin "makul" hâle getirilmesi ise ölçütün sonuca göre seçilmesidir. Bu son soru dersin asıl ölçütü, çünkü yöntemin bütün değeri veriden önce yapılmasında.

Kendini sına

1. Önsel öngörü dağılımı nedir? Benzetimle üç adımda nasıl kurulur?
2. p için 0,1, 0,3, 0,5, 0,7 ve 0,9 değerlerine eşit ağırlık veren önselin on atışta sıfır tura öngörüsünü hesapla. Hilesiz bir parayla karşılaştır.
3. p'ye ortalaması 0,5, standart sapması 0,3 olan normal önsel konursa çekilen değerlerin yaklaşık yüzde kaçı imkânsızdır? Neden?
4. p'yi tam 0,5'e çivileyen önselin on atışta dokuz ya da on tura öngörüsünü hesapla. Bu hangi hata türüne örnek?
5. "Geniş önsel güvenli" sezgisi neden bozuluyor? Geniş önselin gizli iddiası ne?
6. Log-odds değeri 5 olan olasılığı hesapla. Standart sapması 10 olan bir log-odds önseli neden uçlara yığılıyor?
7. B rozetli ilk kartın teknik notu ne diyor? Log-odds örneği bu notu nasıl somutlaştırıyor?
8. Kontrolün üç sınırını yaz. İkincisi neden "gerekli ama yeterli değil" yapısında?

Bir sonraki derse köprü

Bu derste modeli veri görülmeden sınadın: önselin ve modelin, tek bir atış yapılmadan neleri makul saydığını hesapladın. Sıradaki derste soru veri geldikten sonra soruluyor: sonsal dağılımla kurulan model, gerçekten görülen veriye benzer sahte veri kümeleri üretebiliyor mu, yoksa gerçek veri bu kümeler arasında uç bir yerde mi kalıyor? Bir modelin kendi verisine uymasının neden kolay geçilen bir sınama olduğunu da orada göreceksin (L02-P02-M03-D05).