Bayes faktörü

Açılış sahnesi

Hastane kantinindeki iki arkadaş, on atışta yedi tura gelen madeni parayla hâlâ masada oturuyor. Olabilirlik dersinde bu atışlardan bir sayı çıkarmıştık: yedi tura, "p = 0,7" fikrini "p = 0,5" fikrine göre 0,267 ÷ 0,117 ≈ 2,28 kat daha çok destekliyor. Ama birinci arkadaş itiraz ediyor: "Ben paranın tam 0,7 olduğunu iddia etmiyorum, sadece hileli olduğunu söylüyorum. Hileli bir para 0,6 da olabilir, 0,9 da."

Bu itiraz dersin konusunu açıyor. Artık iki parametre değerini değil, iki modeli karşılaştırıyoruz: "para hilesiz" ile "para hileli". İkinci model tek bir sayı değil, bir sayı aralığı taşıyor ve o aralığın ne kadar geniş tutulduğu sonucu değiştiriyor. Birazdan göreceğin gibi, "hileli" modeli genişletildiğinde aynı yedi tura hilesiz parayı destekler hâle geliyor. Veri hiç değişmeden.

Bu derste ne olacak

Önce Bayes faktörünü tanımlayıp kantindeki para için elle hesaplayacağız ve faktörün önsel oranla çarpılarak sonsal orana nasıl dönüştüğünü göreceğiz. Sonra esnek bir modelin neden kendiliğinden cezalandırıldığını sayılarla kuracağız. Ardından bu ölçünün sağlıkta en çok işe yarayan tarafına, "kanıt yok" ile "yokluğun kanıtı" ayrımına geleceğiz. Son bölüm en ciddi sınırla ilgili: faktör önsele, veri çoğalsa bile duyarlı kalıyor.

Sıfır noktası

Olabilirlik oranıyla ilişkisi doğrudan: iki modelin her biri tek bir parametre değeri taşıyorsa, Bayes faktörü tam olarak olabilirlik oranıdır. "p = 0,7" modeli ile "p = 0,5" modelinin faktörü, L02-P02-M03-D02'de hesaplanan 2,28'in kendisi. Fark, bir model bir aralık taşıdığında ortaya çıkıyor. O zaman modelin veriyi ne kadar iyi öngördüğü, aralıktaki her değerin öngörüsünün önsel ağırlıklarıyla ortalaması oluyor.

Faktör tek başına bir karar vermiyor; senin önceki inancını güncelliyor. Kural, tarama testlerinde gördüğün güncellemenin model düzeyindeki hâli: sonsal oran, önsel oranın faktörle çarpımı. Kantinde iki modele baştan eşit şans verdiysen önsel oran 1, sonsal oran 1 × 2,28 = 2,28 ve "p = 0,7" modelinin olasılığı 2,28 ÷ 3,28 ≈ 0,69. Ama cebinden çıkan bir paranın hileli olmasını baştan dokuzda bir olası buluyorsan önsel oran 1 ÷ 9, sonsal oran 2,28 ÷ 9 ≈ 0,25 ve olasılık 0,25 ÷ 1,25 = 0,20. Aynı faktör, iki farklı önselle iki farklı sonuç; faktör verinin katkısını, önsel oran senin başlangıç noktanı taşıyor.

Mekanizma

Otomatik ceza

Şimdi birinci arkadaşın itirazını hesaba dökelim. "Hileli" modelini geniş kuralım: p değeri 0,1, 0,3, 0,5, 0,7 ya da 0,9 olabilir ve her birine eşit ağırlık veriyoruz. Olabilirlik dersinde hesaplanan sayılara aynı formülle 0,1 için bulunan çok küçük değeri eklersen, bu beş değerin yedi turayı öngörme olasılıkları yaklaşık 0,00001, 0,009, 0,117, 0,267 ve 0,057. Ortalamaları (0,00001 + 0,009 + 0,117 + 0,267 + 0,057) ÷ 5 ≈ 0,450 ÷ 5 = 0,090. Hilesiz para modeli ise yedi turayı 0,117 ile öngörüyordu, bu yüzden faktör 0,090 ÷ 0,117 ≈ 0,77.

Faktör birin altına düştü: aynı yedi tura artık hilesiz parayı hafifçe destekliyor. Nedeni sezgisel. Geniş model, olasılık kütlesini 0,1'den 0,9'a kadar bütün değerlere yaymak zorunda kaldı ve toplam bir olduğu için her değere az düştü. Yedi turayı iyi öngören 0,7'nin payı, onu hiç öngöremeyen 0,1 ve 0,3'le paylaşılınca eridi. Dar bir model kütlesini küçük bir alana toplar; veri o alana düşerse öngörüsü yüksek, düşmezse çok düşük olur.

Dar bir "hileli" modeliyle karşılaştır: p yalnız 0,6, 0,7 ya da 0,8 olabilsin. Öngörüler 0,215, 0,267 ve 0,201; ortalamaları (0,215 + 0,267 + 0,201) ÷ 3 = 0,683 ÷ 3 ≈ 0,228 ve faktör 0,228 ÷ 0,117 ≈ 1,9. Tek noktalı model 2,28, dar model 1,9, geniş model 0,77 verdi. Modeller ne kadar az iddia ederse, doğru çıktıklarında o kadar az ödül alıyor.

Bu, L02-P02-M03-D05'teki karmaşıklık tuzağına doğrudan bir karşılık. Orada uyum ölçütü karmaşık modeli ödüllendiriyordu, çünkü esnek bir model kendi verisine her zaman daha iyi uyar. Burada ölçünün kendisi esnekliği cezalandırıyor. İki dersin birleşimi bir kural veriyor: uyuma bakmak karmaşık modeli seçtirir, öngörüye bakmak seçtirmez.

"Kanıt yok" ile "yokluğun kanıtı"

Bir sınama sonucu "anlamlı değil" çıktığında birbirinden çok farklı iki durum aynı cümleyle bildirilebilir. Birincisinde veri etkiyi göstermeye yetmemiştir ve belirsizlik büyüktür. İkincisinde veri etkinin olmadığını gerçekten destekler, çünkü belirsizlik küçüktür ve sonuç sıfıra yakındır. Değerlendirilemeyen bir sonuç ile etkisiz bir sonucun farklı şeyler olduğu L01-P04-M02-D10'da etki büyüklüklerini karşılaştırırken kurulmuştu; Bayes faktörü bu ayrımı ölçebilen bir araç veriyor.

Parayla görelim. On atışta beş tura gelse hilesiz model bunu 0,246 ile öngörür; p'nin 0 ile 1 arasında her değeri eşit olası sayan geniş "hileli" model ise 1 ÷ 11 ≈ 0,091 ile. Faktör hilesiz para lehine 0,246 ÷ 0,091 ≈ 2,7. Yüz atışta elli tura gelse hilesiz modelin öngörüsü 0,080, geniş modelinki 1 ÷ 101 ≈ 0,0099 ve faktör 0,080 ÷ 0,0099 ≈ 8. Klasik sınama iki durumda da yalnız "anlamlı fark yok" der; faktör ise daha çok verinin hilesizliği daha güçlü desteklediğini sayıyla gösteriyor.

Kartın son cümlesi iki yönlü bir zararı gösteriyor. İşe yaramayan bir uygulama "henüz belirsiz" diye önerilmeye devam edebilir, belirsiz bir uygulama da erkenden "etkisiz" ilan edilip bir kenara konabilir. Bir şeyin işe yaramadığını göstermek, işe yaradığını göstermek kadar değerli ve klasik sınama bunu doğrudan yapamıyor.

En ciddi sınır: önsele duyarlılık

Otomatik ceza bölümünde bir şey fark ettin: veri aynı kaldı, yalnız "hileli" modelinin önselini genişlettik ve faktör 2,28'den 0,77'ye indi. Bu, ölçünün tanımından geliyor, çünkü model önselini içeriyor. Sonsal dağılım da önsele bağlıdır ama veri çoğaldıkça bu bağ zayıflar. Faktörde zayıflamaz.

Bunu yüz atışla sına: bu kez yetmiş tura gelsin. "Hileli" modelinde p, 0 ile 1 arasında her değeri eşit olası alırsa faktör hilesiz paraya karşı yaklaşık 427; p yalnız 0,5 ile 1 arasında eşit olası alırsa yaklaşık 855. Önselin genişliğini iki katına çıkarmak faktörü tam yarıya indirdi: 855 ÷ 427 ≈ 2. Oysa iki modelde de p için sonsal ortalama yaklaşık 0,696 çıkıyor. Tahmin önselden kurtuldu, faktör kurtulmadı.

Bu yüzden önsel dağılım dersindeki "bol veride önsel silinir" kuralı Bayes faktörü için geçerli değil ve bu istisnanın ayrıca yazılması gerekiyor. Faktör bildirilirken karşılaştırılan modellerin önselleri de bildirilir ve birkaç makul önselle duyarlılık gösterilir. Burada duyarlılık çözümlemesi isteğe bağlı değil, zorunlu.

Eşik sorunu

Bayes faktörü için "şu değerin üstü güçlü kanıt" biçiminde eşik listeleri dolaşıyor. Bu listeler uzlaşımsaldır: akut ile kronik arasındaki çizgi gibi, ölçülmüş bir doğa sınırı değil, alan içinde varılmış bir anlaşmadır. Faktörü bir eşiğe indirmek sürekli bir kanıt ölçüsünü ikili bir karara çevirir ve klasik sınamanın en çok eleştirilen özelliğini geri getirir. Faktör derece derece okunur: 2,28 ile 1,9 arasındaki fark, 1,9 ile 0,77 arasındaki farktan çok daha küçüktür ve hiçbir çizgi bu farkların anlamını değiştirmez.

Klinik gerçeklik

Bir model karşılaştırmasıyla karşılaştığında önce hangi iki modelin karşılaştırıldığını sor, çünkü faktör bir çifte aittir ve üçüncü bir model hakkında hiçbir şey söylemez. Ardından modellerin önsellerini öğren; kantindeki örnek, aynı veriden 1,9 ve 0,77, yani yönü farklı iki faktörün çıkabildiğini gösterdi. Duyarlılık çözümlemesinin yapılıp yapılmadığına bak ve faktörün birkaç makul önselde aynı yönü gösterip göstermediğini ara. Son olarak sonucun "kanıt yok" mu yoksa "yokluğun kanıtı" mı olduğunu sor; bu dersin asıl kazanımı, bu iki cümlenin artık bir sayıyla ayrılabilmesi.

Kendini sına

1. Bayes faktörünü tanımla. İki modelin her biri tek bir parametre değeri taşıdığında faktör neye eşit olur?
2. Kantinde önsel oranı 1 ÷ 4 alırsan, 2,28'lik faktörle sonsal oran ve "p = 0,7" modelinin olasılığı kaç olur?
3. "Hileli" modelinde p yalnız 0,7 ya da 0,9 olabilseydi ve eşit ağırlık alsaydı faktör kaç çıkardı? (Öngörüler 0,267 ve 0,057.)
4. Geniş model neden yedi turayı daha kötü öngörüyor? Karmaşıklık tuzağıyla ilişkisini kur.
5. On atışta beş tura ile yüz atışta elli tura neden farklı güçte "yokluğun kanıtı" veriyor?
6. B rozetli ilk kartın gösterdiği iki yönlü zarar ne?
7. Yüz atışlık örnekte önselin genişliği iki katına çıkınca sonsal ortalama ve faktör nasıl değişti? Bu hangi kuralın istisnası?
8. Eşik listeleri neden uzlaşımsal? Faktörü bir eşiğe indirmenin bedeli ne?

Bir sonraki derse köprü

Bu derste güncellemeyi iki model arasında yaptık: önsel oran çarpı faktör, sonsal oran. Sıradaki ders aynı çarpmayı bu kez gerçek bir karar ortamında kuruyor. Bin kişilik bir tarama tablosunda yaygınlık önsel oranı, testin ayırt ediciliği çarpanı veriyor. Ardından modülün bütün adımları kurgu bir çalışmada sırayla uygulanıyor: önseli yazmak, sınamak, birleştirmek, aralığı okumak ve sonucun ne kadarının önselden geldiğini bildirmek (L02-P02-M03-D08).