Önsel bilgiyi güncelleme

Açılış sahnesi

Bir iş yerinin toplu sağlık taramasında bin kişiden kan alınıyor ve bir hafta sonra muhasebeden bir çalışan kendi zarfında "pozitif" kelimesini görüyor. Testin bilgi notunda iki sayı yazıyor: duyarlılık %90, özgüllük %95. Aklından geçen ilk hesap basit: "Test yüzde doksan doğruysa, ben de yüzde doksan ihtimalle hastayım."

Oysa bu grupta aranan durumun yaygınlığı %2 ise, pozitif sonuç alan her dört kişiden yaklaşık üçü aslında sağlıklı. Zarfı açan kişinin hasta olma olasılığı %90 değil, %27 civarında. Aradaki fark testin kalitesinden değil, zarfı açmadan önce ne bildiğimizden geliyor. Bu dersin konusu, o önceki bilginin yeni veriyle nasıl güncellendiği.

Bu derste ne olacak

Bu bir uygulama dersi. Önce tarama sonucunu bin kişilik bir tabloda elle hesaplayacağız, sonra aynı hesabı oranlarla kısaltıp ikinci bir testle dünün sonsalının bugünün önseli olduğunu göreceğiz. İkinci yarıda bütün bir etki büyüklüğüne geçip modülün yedi adımını kurgu bir çalışmaya uygulayacağız. Her adımda önce kendi cevabını yazmanı, sonra çözümle karşılaştırmanı öneririm.

Sıfır noktası

Güncellemenin üç parçası var. Önsel, veriyi görmeden önce bildiğin şey; taramada bu, yaygınlık. Olabilirlik, gözlemin her olası durumda ne kadar beklenir olduğu; taramada bu, hastada pozitif çıkma sıklığı (duyarlılık) ile sağlıklı birinde pozitif çıkma sıklığı (bir eksi özgüllük). Sonsal ise ikisinin birleşiminden çıkan güncellenmiş bilgi.

Bayes teoremini formülle değil kişi sayarak kurmanın gerekçesi L02-P02-M01-D07'de işlenmişti: aynı hesap "bin kişiden kaçı" diye sorulduğunda çok daha az hatayla yapılıyor. Burada da öyle yapacağız; her sayıyı sen de hesapla.

Mekanizma

Bin kişilik tablo

Bin kişiyi yaygınlığa göre ikiye ayırarak başla. Yaygınlık %2 ise 1000 × 0,02 = 20 kişi hasta, geriye kalan 980 kişi sağlıklı. Duyarlılık %90 olduğuna göre hastaların 20 × 0,90 = 18'i pozitif çıkıyor, ikisi atlanıyor. Özgüllük %95 olduğuna göre sağlıklıların %5'i yanlışlıkla pozitif çıkıyor: 980 × 0,05 = 49 kişi. Kalan 931 sağlıklı kişi doğru biçimde negatif.

Şimdi soruyu tablodan oku. Zarfında pozitif yazan 67 kişi var ve bunların yalnız 18'i hasta: 18 ÷ 67 ≈ 0,27. Pozitiflerin %73'ü yanlış alarm. Test kötü değil; çok sayıda sağlıklı kişiye uygulandığı için küçük bir hata oranı bile hastalardan kalabalık bir yanlış pozitif grubu üretiyor.

Aynı hesap oranlarla

Tabloyu her seferinde çizmek zorunda değilsin. Önseli olasılık yerine oran olarak yazarsan, yani hasta sayısını sağlıklı sayısına bölersen, önsel oran 20 ÷ 980 = 2 ÷ 98 olur. Testin ayırt ediciliği de tek bir sayıya sığar: hastada pozitif çıkma sıklığının sağlıklıda pozitif çıkma sıklığına bölümü, 0,90 ÷ 0,05 = 18. Bu sayı olabilirlik oranıdır ve pozitif sonucun önseli hasta olma yönünde kaç kat büyüttüğünü söyler.

Güncelleme tek bir çarpma: sonsal oran, önsel oranın olabilirlik oranıyla çarpımı. Hesapla: 2 ÷ 98 × 18 = 36 ÷ 98. Bunu olasılığa geri çevirmek için payı, pay ile paydanın toplamına bölersin: 36 ÷ 134 ≈ 0,27. Tablodaki 18 ÷ 67 ile aynı sonuç, çünkü 36 ve 134 tam olarak 18 ve 67'nin iki katı. Bu biçimde önselin ve verinin katkısı iki ayrı çarpan olarak görünüyor.

Dünün sonsalı, bugünün önseli

Pozitif çıkan kişilere ikinci, bağımsız bir test yapıldığını düşün; bu testin de duyarlılığı %90, özgüllüğü %95 olsun. Artık önsel %2 değil, ilk testten çıkan %27. Pozitif çıkan 67 kişiyle yeniden sayalım: 18 hastanın 18 × 0,90 = 16,2'si, 49 sağlıklının 49 × 0,05 = 2,45'i yeniden pozitif çıkar. İkinci kez pozitif çıkanlar arasında hasta olma olasılığı 16,2 ÷ 18,65 ≈ 0,87, yani yaklaşık %87; aynı test, önsel değiştiği için bu sefer çok farklı bir sonuç veriyor.

Bu zincirin bir koşulu var: iki gözlemin gerçekten bağımsız olması. Aynı kan örneği aynı cihazda ikinci kez çalışıldıysa, ilk sonucu yanıltan etken ikincisini de büyük olasılıkla yanıltır ve %87 olduğundan kesin çıkar. Aynı bilgi iki kez sayılmış olur; güncelleme ancak her yeni veri gerçekten yeni bilgi taşıdığında birikir.

Önselin gücü

Aynı testi bu kez yaygınlığın %20 olduğu bir grupta, örneğin belirtileri olduğu için başvurmuş kişilerde düşün. Bin kişinin 200'ü hasta ve bunların 200 × 0,90 = 180'i pozitif çıkıyor; 800 sağlıklı kişinin 800 × 0,05 = 40'ı yanlış pozitif. Pozitiflerin 180 ÷ 220 ≈ 0,82'si hasta. Test ve zarftaki kelime aynı, ama sonucun anlamı %27'den %82'ye çıktı. "Bu test ne kadar iyi?" sorusunun cevabı her zaman "kime uygulandığında?" sorusuyla birlikte gelir.

Tek bir olasılıktan bütün bir etki büyüklüğüne

Buraya kadar güncellenen şey tek bir sayıydı: hasta ya da değil. Çoğu araştırma sorusunda ise bilinmeyen bir etki büyüklüğü var ve önsel, olabilirlik ve sonsal birer dağılım. Mantık değişmiyor, yalnız kişi saymanın yerini bir ağırlık hesabı alıyor.

Kurgu senaryo. Bir uygulamanın, 0 ile 100 arasında puanlanan bir belirti ölçeğindeki etkisi araştırılıyor. Bu alandaki benzer uygulamalarda etkiler genellikle birkaç puanlık; çok büyük etkiler bildirilmiş ama sonraki çalışmalarda küçülmüş. Yeni ve küçük bir çalışma 8 puanlık bir iyileşme bildiriyor, standart hatası 4 puan.

Birinci ve ikinci adım: önseli yaz, sonra sına

Önsel için üç bilgi gerekiyor: merkez, yayılım ve biçim. Alan bilgisi küçük etkileri gösterdiği için merkezi 1 puana, standart sapmayı 2 puana koyuyor, iki yöne açık simetrik bir çan eğrisi seçiyoruz. Bu önselde değerlerin yaklaşık %95'i 1 ± 1,96 × 2 aralığında, yani −2,9 ile 4,9 puan arasında kalıyor. Kaynağı da yazılıyor: önceki çalışmalar ve alanda gözlenen makul etki aralığı.

Önseli veriye bakmadan sınamak için ondan sahte çalışma sonuçları üretir ve makul olup olmadıklarına bakarsın. Karşılaştırma için "belirsiz" diye 100 puanlık bir standart sapma seçildiğini düşün: bu önsel, etkilerin %95'ini sıfırın iki yanında 1,96 × 100 = 196 puana kadar yayar ve 100 puanlık bir ölçekte olanaksız etkileri sıradan sayar. Bunu görmek için tek bir veri noktası gerekmiyor; önsel öngörü kontrolünün değeri de modeli veriye bakmadan değerlendirmesinde. Seçtiğimiz önsel ise görülmemiş büyüklükleri dışarıda bırakıyor ve kontrolden geçiyor.

Üçüncü adım: olabilirliği oku

Küçük çalışmanın standart hatası 4 puan olduğu için veri tek başına etkinin yaklaşık 8 ± 1,96 × 4, yani 0,2 ile 15,8 puan arasında olmasıyla uyumlu. Bu, neredeyse sıfır etkiden çok büyük bir etkiye uzanan geniş bir aralık ve veri bu aralıktaki değerleri birbirinden pek ayırt etmiyor.

İlk sonuç buradan çıkıyor: bu veri tek başına etkiyi daraltmıyor. Bildirilen 8 puan en çok desteklenen değer, ama çevresi de benzer ölçüde destekleniyor. Olabilirlik ne kadar düzse, sonucu belirleme işi o kadar çok önsele kalır.

Dördüncü adım: birleştir

Önsel ve olabilirlik ikisi de çan eğrisi biçiminde olduğunda birleştirme kısa bir ağırlıklı ortalamaya iner. Her kaynağın ağırlığı kesinliğidir, yani varyansının tersi: önsel için 1 ÷ 2² = 0,25, veri için 1 ÷ 4² = 0,0625, toplam 0,3125. Sonsalın merkezi (0,25 × 1 + 0,0625 × 8) ÷ 0,3125 = 0,75 ÷ 0,3125 = 2,4 puan. Sonsal varyansı toplam kesinliğin tersi, 1 ÷ 0,3125 = 3,2; standart sapması yaklaşık 1,8 puan.

Bildirilen 8 puan, sonsalda 2,4 puana çekildi. Ağırlıkları oran olarak okursan önselin payı 0,25 ÷ 0,3125 = 0,8: sonsal merkezin %80'i önselden, %20'si veriden geliyor. Bu, modülün "önsel baskın" dediği durumun sayıya dökülmüş hâli.

Sekizden 2,4'e iniş bir müdahale değil, hesabın kendisi: iki bilgi kaynağı birleşti ve az bilgi taşıyan kaynak az ağırlık aldı. Ama bildirilmesi şart, çünkü okur sonuca bakıp "veri 2,4 dedi" sanabilir. Oysa yüzde seksenlik önsel payı, bu sayının esas olarak bizim varsayımımızdan geldiğini söylüyor.

Beşinci ve altıncı adım: modeli sına, aralığı bildir

Sonsal öngörü kontrolünde modelden yeni sahte veri üretir ve görülen veriye benzeyip benzemediğine bakarsın. Bu senaryoda model geçiyor, ama bu veriye zaten uydurulmuştu. Kendi verisine uyan bir modelin kontrolü geçmesi zayıf bir kanıttır. Asıl sınama bağımsız bir veri kümesi ve burada henüz yok; bu eksik sonuçla birlikte yazılır.

Sonsaldan bir güvenilirlik aralığı kesiyoruz: 2,4 ± 1,96 × 1,8, yani yaklaşık −1,1 ile 5,9 puan. Sonsal simetrik olduğu için eşit kuyruklu ve en yüksek yoğunluklu aralık burada aynı; çarpık bir sonsalda türü yazmak gerekirdi. Aralığı okurken sorulacak soru "sıfırı içeriyor mu?" değil, "uçları ne anlama geliyor?" sorusu. Alt uç etkinin olmadığı ya da hafifçe olumsuz olduğu bir dünyayı, üst uç ise bu kurgu ölçekte kayda değer bir iyileşmeyi anlatıyor.

Uçlar farklı kararlar gerektirdiğine göre doğru cümle şu: veri karar için yetersiz. Bu, "etki yok" demekle aynı şey değil. Değerlendirilemeyen bir sonuç ile etkisiz bir sonuç arasındaki fark, etki büyüklüklerini karşılaştıran L01-P04-M02-D10'da işlenmişti; burada aynı ayrımın Bayesçi hâlini görüyorsun.

Yedinci adım: duyarlılığı göster

Son adım, atlanması en kolay olanı: aynı veriyi üç farklı önselle yeniden birleştirmek. Standart sapması 100 olan belirsiz önselin kesinliği yalnız 0,0001, bu yüzden sonsal merkez neredeyse tamamen veriden geliyor: yaklaşık 8,0 puan. Zayıf bilgilendirici önselde 2,4 bulmuştuk. Standart sapması 1 olan dar bilgilendirici bir önselde ise merkez (1 × 1 + 0,0625 × 8) ÷ 1,0625 = 1,5 ÷ 1,0625 ≈ 1,4 puan.

Üç önsel 8,0, 2,4 ve 1,4 puan gibi birbirinden bu kadar uzak sonuçlar veriyorsa, bu bir yan not değil, dersin asıl bulgusu: veri, önsel seçiminden bağımsız bir cevap verecek kadar güçlü değil. Üç sonsal birlikte bildirilir. Bir model karşılaştırması da yapılacaksa duyarlılık isteğe bağlı olmaktan çıkar, çünkü L02-P02-M03-D07'de gördüğün gibi Bayes faktörü önselin genişliğine sonsal tahminden çok daha duyarlı.

Klinik gerçeklik

Sonuç nasıl bildiriliyor

Yedi adımın çıktısı tek bir sayı değil, bir bildirim paketi. Paket önsel ve kaynağıyla açılır, ardından önsel öngörü kontrolünün sonucu gelir. Sonra sonsal tahmin ve aralık türüyle birlikte yazılır ve bu tahminin ne kadarının önselden geldiği sayıyla verilir; bu senaryoda yüzde seksen. Model kontrolünün sonucu ve bağımsız doğrulamanın yapılmadığı bilgisi bunu izler, paket de duyarlılık çözümlemesiyle kapanır. Her maddesi bir karar bildiriyor.

Neyi göstermiyor

Bu çözümlemenin üç sınırı var ve üçü de yazılmalı. Sonsal gerçeği vermiyor; seçilen model ve önsel altında güncellenmiş bilgiyi veriyor ve ikisi de varsayım. Bir sayı da bir karar değil: uygulamanın kullanılıp kullanılmayacağı bir değer sorusu ve hesap onu cevaplamıyor. Üçüncüsü en çok atlananı: bu çözümleme nedensellik kurmuyor ve çalışma tasarımı zayıfsa Bayesçi hesap onu düzeltmiyor.

İkinci kartın son cümlesi bu modülün en önemli korumasını tarif ediyor: önsel, veri görülmeden yazılır. Veriye bakıldıktan sonra seçilen önsel sonucu istenen yere çekebilir ve açık yazmanın bütün savunması çöker. Taramada bu, yaygınlığı sonuçları görmeden, bilinen kaynaklardan almak demek.

Modülün kapanışı

Sekiz derste bir düşünme biçimi kurduk: önsel dağılım, olabilirlik, sonsal dağılım, önsel ve sonsal öngörü kontrolü, güvenilirlik aralığı ve Bayes faktörü. Modülün ortak bulgusu şu: Bayesçi yaklaşımın kazancı daha iyi sayılar değil, daha açık varsayımlar. Sıklıkçı bir çözümleme de dağılım biçimi ve bağımsızlık gibi varsayımlar taşıyor; fark, Bayesçi yaklaşımın bir varsayımı yazmaya zorlaması. Yazılan bir varsayım tartışılabilir, bildirilmeyen bir varsayım tartışılamaz.

Bayes faktörü, "kanıt bulunamadı" ile "yokluğun kanıtı" arasındaki farkı ölçebilen bir araç da verdi. Bu modülle olasılık programı tamamlanıyor: önce olasılığın kuralları, sonra dağılım biçimleri, en son güncelleme kuruldu.

Kendini sına

1. Yaygınlığın %1 olduğu bir grupta, duyarlılığı %90 ve özgüllüğü %95 olan bir test için bin kişilik tabloyu kur. Pozitif çıkanların yüzde kaçı hasta?
2. Aynı hesabı oranlarla yap.
3. Aynı kan örneğini aynı cihazda iki kez çalıştırmak neden ikinci bir bağımsız test sayılmaz?
4. Kurgu senaryoda önselin standart sapması 2 değil 4 puan olsaydı sonsal merkez kaç olurdu? Önselin payı yüzde kaça düşerdi?
5. −1,1 ile 5,9 puanlık aralığı "etki yok" diye özetlemek neden yanlış? Doğru özet nedir?
6. Kendi güncellemen: bir bulgu seç, önselini merkez, yayılım, biçim ve kaynağıyla yaz, olabilirliğin dar mı düz mü olduğuna bak. Önseli iki farklı biçimde yazsaydın sonuç değişir miydi? Değişiyorsa bu bir bulgudur ve bildirilir.
7. İki B rozetli kartın her biri bildirim paketinin hangi maddesini koruyor?

Bir sonraki derse köprü

Bu derste bin kişilik tablonun her hücresi bir sayımdı ve test sonucu yalnız iki değer alıyordu: pozitif ya da negatif. Kurgu senaryodaki belirti puanı ise 0 ile 100 arasında her değeri alabiliyordu. Yeni program istatistiğe tam bu farkla giriyor: bir sütundaki veri insanları sınıflara mı ayırıyor, yoksa bir miktarı mı ölçüyor, ve bir sınıfa sayı vermek onu neden sayısal yapmıyor. Sürekli bir ölçümü pozitif ve negatif diye ikiye bölmenin neyi kaybettirdiği de orada soruluyor (L02-P03-M01-D01).