Alfa ve Anlamlılık Eşiği

Açılış sahnesi

Batı Karadeniz'de bir il hastanesi, şubatın ilk salısı. Hemşirelik hizmetleri müdürlüğünün toplantı odasında kanıta dayalı uygulama kurulu iki çalışma protokolünü görüşüyor; ikisinin de verisi henüz toplanmadı. Birincisi dahiliye servisinin koridoruna kurulacak bir çağrı ışığı panosunun hemşirelerin zile yanıt süresini kısaltıp kısaltmadığını soruyor. Pano yaklaşık kırk bin liraya kuruluyor ve işe yaramazsa bir günde sökülüyor. İkincisi ortopedi ve nöroloji servislerindeki bütün yatakları, hasta kalkınca uyarı veren sensörlü yataklarla değiştirmenin düşmeleri azaltıp azaltmadığını soruyor; satın alma birimi yanlışlıkla benimsenmiş bir yatak değişiminin beş yıllık toplam bedelini altı milyon lira diye yazmış.

Protokolleri araştırma hemşiresi Görkem hazırlamış ve iki belgenin istatistik bölümüne aynı satırı koymuş: "Anlamlılık düzeyi 0,05". Kurulun başkanı Zekiye Hanım iki sayfayı yan yana koyup neden ikisinde aynı sayının durduğunu soruyor. Görkem geçen kasım bir kongrede Van'dan gelen bir diz rehabilitasyonu özetini hatırlıyor: beş derecelik fark, iki uç sayılarak hesaplanmış p = 0,077, salondan biri de eşik 0,10 olsaydı sonucun anlamlı sayılacağını söylemişti. Zekiye Hanım eşiğin neye göre seçildiğini, verinin mi yoksa kararın mı belirlediğini yazılı olarak istiyor.

Bu derste ne olacak

Önce eşiğin kendisini tanımlayacak, onu test istatistiği ölçeğine çevirip hangi sınırlara karşılık geldiğini tablodan okuyacaksın. Ardından alfanın neden bir kuralın, p'nin ise tek bir verinin özelliği olduğunu hem hesapla hem de bu ayrımı kuran iki istatistik geleneği üzerinden göreceksin. Sonra 0,05'in nereden geldiğine ve yerine önerilen daha katı sınıra bakacaksın. Son bölümde Görkem'in iki protokolü için eşiği, yanlışlıkla benimsenen bir değişikliğin bedeline ve daha katı bir eşiğin istediği ek veriye göre tartacaksın.

Sıfır noktası

p değerini sürekli bir ölçek olarak okumuştun ve o ölçekte 0,05'in çevresinde hiçbir sıçrama yoktu. Van'daki özetin 0,077'si ile 0,049 arasında yalnız bir derece farkı vardı. Kurulun önündeki sorular ise bir derece istemiyor, bir karar istiyor: pano kalacak mı, yatak alınacak mı. Cetvelin üzerine bir çizgi çekmek bu yüzden gerekli, ama çizgi cetvelin içinde hazır durmuyor, dışarıdan konuyor.

Anlamlılık dersinde (L01-P04-M02-D01) 0,05'in bir uzlaşım olduğunu, doğanın koyduğu bir sınır olmadığını duymuştun. Aynı dersin bıraktığı soru şuydu: çizgi bir uzlaşımsa, onu kim, ne zaman ve neye bakarak çeker? Bu dersin ekseni tam bu soru. Cevabın ilk yarısı zamanla ilgili, ikinci yarısı bedelle.

Mekanizma

Eşiği test istatistiğine çevirmek

Alfa p ölçeğinde bir sınır, ama aynı kural test istatistiği ölçeğinde de yazılabilir. İki yönlü bir sınamada alfa iki uca eşit bölünür ve her uçta alfanın yarısı kalır. α = 0,05 için her uçta 0,05 ÷ 2 = 0,025 kalıyor; tabloda solunda 0,975 bırakan değer 1,96. α = 0,10 için her uçta 0,05 ve sınır 1,645; α = 0,01 için 2,576; α = 0,005 için 2,807. Hata çubukları dersinde yüzde 90, 95 ve 99'luk aralıkların çarpanları olarak gördüğün sayılar bunlar, çünkü aralık ile sınama aynı alanı iki yönden okuyor.

Van özetindeki 1,77'yi bu dört sınırla karşılaştır. 1,645'i aşıyor, 1,96'yı aşmıyor; α = 0,10 ile kurulmuş bir kural sıfırı reddeder, α = 0,05 ile kurulmuş bir kural reddetmez. Kongre salonundaki cümle aritmetik olarak doğruydu. Yanlış olan, hangi kuralın geçerli olduğunu p'yi gördükten sonra tartışmaktı.

Kural ile tek sonuç

Evrende fark yokken p'nin 0 ile 1 aralığına düzgün yayıldığını benzetimle saymıştın. Bu düzgünlüğün doğrudan bir sonucu var: veri görülmeden sabitlenmiş her alfa için "p alfadan küçük" olayının olasılığı, sıfır doğruyken tam olarak alfa. On bin sıfır çalışmasında α = 0,05 ile 10.000 × 0,05 = 500 ret beklenir, benzetimde 491 çıkmıştı; α = 0,005 ile beklenen sayı 10.000 × 0,005 = 50. Eşiği seçmenin bedeli, fark yokken ödenen tarafıyla, eşiğin kendisine eşit. Başka bir dağılımdan gelen p'lerde bu eşitlik kurulamazdı ve alfa bir söz olmaktan çıkardı.

Şimdi eşiği p'yi gördükten sonra seçen birini düşün. Salondaki kişi 0,077'yi gördü ve 0,10'u önerdi; 0,03 görseydi 0,05'le yetinecek, 0,12 görseydi 0,15'i savunacaktı. Bu kişinin fiilen uyguladığı kural "p'nin biraz üstünde bir eşik seç" ve bu kural sıfır doğruyken de her seferinde ret verir: olasılığı alfa değil, bir. Sonradan seçilen eşik p'nin kendisinin kılık değiştirmiş hâli olur ve kurala ait hiçbir güvence taşımaz. Yönün veriden sonra seçilmesinin payı nasıl iki katına çıkarıyorsa, eşiğin sonradan seçilmesi de payı istenen her yere taşıyor.

Bu yüzden alfa ile p farklı türden nesneler. Alfa bir prosedürün özelliği; aynı kural yüz kez uygulansa da değişmez ve ne söylediği ancak bu tekrar içinde anlam kazanır. p ise elindeki tek bir verinin özelliği; veri değişince değişir ve kurula bu çalışmanın sıfırla ne kadar uyuşmadığını söyler. Raporda ikisi yan yana yazılabilir, ama biri ötekinin yerine konamaz.

İki gelenek, tek satırda

Bu iki nesnenin bugün aynı satırda durması iki ayrı düşünme biçiminin birleşmesinden geliyor. Ronald Fisher 1925'te yayımlanan Statistical Methods for Research Workers kitabında p'yi bir kanıt derecesi olarak kullandı ve 0,05'e karşılık gelen değerin 1,96, yani yaklaşık 2 olduğunu, bu noktayı sınır almanın elverişli olduğunu yazdı. Jerzy Neyman ile Egon Pearson ise 1933'te Philosophical Transactions of the Royal Society'de yayımlanan makalelerinde sınamayı bir karar kuralı olarak kurdular: sınır önceden seçilir, tek bir sonucun derecesi değil, kuralın uzun dönemde ne sıklıkla yanıldığı güvence altına alınır. Bu çerçevede sıfırın doğruyken reddedilmesinin yanında öteki yöndeki yanılma da hesaba katılıyor; ikisinin adları ve hesabı modülün sonraki derslerinde ele alınacak.

Ders kitaplarında ve makalelerde gördüğün kalıp bu ikisinin karışımı: p Fisher'ın geleneğinden tam değeriyle hesaplanıyor, sonra Neyman ile Pearson'un geleneğinden gelen sabit bir alfayla karşılaştırılıyor. Karışım kendi başına hatalı değil; hatalı olan, iki nesnenin görevlerinin birbirine geçmesi. p'nin küçüklüğünü kuralın güvencesiyle, alfanın sabitliğini de tek bir sonucun kanıt gücüyle okumak bu geçişin iki yönü.

Gelenek ve daha katı öneri

0,05'in yerleşik olmasının ardında bir ölçüm değil, elverişlilik ve alışkanlık var. Akut ile kronik arasındaki sınırı tartışırken uzlaşımsal eşik dediğin şeyin istatistikteki en tanıdık örneği bu: yararlı, gerekli ve konulmuş. Konulmuş bir sınırın değiştirilebileceği de yöntem literatüründe açıkça tartışılıyor.

2018'de Daniel Benjamin ve arkadaşları Nature Human Behaviour'da yayımlanan "Redefine statistical significance" başlıklı yazıda, yeni bir keşif iddiası için ortak eşiğin 0,005'e çekilmesini, 0,05 ile 0,005 arasındaki sonuçların ise "düşündürücü" diye adlandırılmasını önerdiler. Aynı yıl aynı dergide Daniël Lakens ve arkadaşları "Justify your alpha" başlıklı yanıtta tek bir ortak sayı yerine her çalışmanın alfasını kendi bağlamında gerekçelendirmesini savundular. İki öneri de aynı teşhisten, 0,05'in her soruya aynı biçimde uygulanmasının yetersizliğinden yola çıkıyor ve farklı ilaçlar yazıyor.

Eşiği bedele göre tartmak

Görkem'in iki protokolünde sıfır, değişikliğin işe yaramadığını söylüyor. Kurul pano ya da yatak için ancak sonuç iyileşme yönünde anlamlı çıkarsa bütçe açacak. Hipotez çiftini kurarken öteki yönün de önemli olduğunu, bu yüzden alternatifin iki yönlü yazıldığını görmüştün; o hâlde sıfır doğruyken kuralın yanlışlıkla benimsemeye götüren payı alfanın yalnız yarısı, iyileşme ucunda kalan kısmı. Yanlışlıkla benimsenen bir değişikliğin beklenen bedeli bu payın bedelle çarpımı.

Pano için α = 0,10 seçilirse iyileşme ucundaki pay 0,05 ve beklenen bedel 0,05 × 40.000 = 2.000 lira. Eşik 0,005'e çekilirse pay 0,0025 ve bedel 0,0025 × 40.000 = 100 lira; kazanç işe yaramayan her pano için 1.900 lira. Yatak için α = 0,05 ile pay 0,025 ve beklenen bedel 0,025 × 6.000.000 = 150.000 lira. α = 0,005 ile bu 0,0025 × 6.000.000 = 15.000 liraya iniyor ve kazanç 135.000 lira. Aynı eşik değişikliği iki protokolde yetmiş kattan fazla farklı bir kazanç getiriyor, çünkü alfa hep bedelin kendisiyle çarpılıyor.

Daha katı eşiğin de bir fiyatı var ve o fiyat veride ödeniyor. Aynı gözlenen farkın 2,807'lik sınırı aşması için standart hatanın 1,96'lık sınırdakine göre 1,96 ÷ 2,807 ≈ 0,70'ine inmesi gerekir. Standart hata hasta sayısının kareköküyle küçüldüğünden bu, (2,807 ÷ 1,96)² ≈ 2,05 kat daha fazla hasta-gün demek. Pano için 1,645'ten 2,807'ye çıkmak (2,807 ÷ 1,645)² ≈ 2,91 kat daha fazla ölçülmüş çağrı istiyor; birkaç haftalık ek sayım, 1.900 liralık bir kazanç için. Yatakta iki kat uzayan bir veri toplama 135.000 liralık bir riski küçültüyor.

Karşılaştırmanın hükmü bir değer yargısı, bir formülün çıktısı değil. Tanı testlerinde eşik seçimi dersinde (L01-P05-M02-D08) bir belirtecin karar eşiğini iki hatanın bedeline göre kaydırmıştın; alfa aynı düşüncenin sınama tarafı. Buradaki hesap yalnız bir yarısını gösteriyor: değişiklik gerçekten işe yarıyorken katı bir eşiğin onu ne sıklıkla kaçıracağı ayrı bir sayı ve o hesap modülün sonraki derslerinde kurulacak.

Klinik gerçeklik

Görkem protokolleri yeniden yazıyor ve iki istatistik bölümü artık aynı satırı taşımıyor. Pano protokolünde α = 0,10, gerekçesiyle birlikte: değişiklik ucuz, bir günde geri alınabiliyor ve kurul altı ay sonra yanıt sürelerini yeniden ölçecek. Yatak protokolünde α = 0,005: yanlışlıkla benimsenmiş bir yatak değişimi beş yıl sürecek bir bütçeyi bağlıyor, ve kurulun kaygısı yalnız para değil. Sensörlü yataklar geldikten sonra gece turları ya da refakatçi eğitimi gevşetilirse, işe yaramayan bir çözüm işe yarayan önlemlerin yerini almış olacak.

İki sayı da veri toplanmadan, protokolün tarihli ilk sayfasına yazılıyor ve kurul tutanağına geçiyor. Zekiye Hanım bir cümle daha ekletiyor: sonuç raporunda p tam değeriyle, alfadan ayrı bir satırda verilecek. Kurulun kararı eşikle verilecek, ama raporu okuyan kişi verinin ne kadar uyumsuz olduğunu da görebilecek.

Bir makale okurken alfayı yöntem bölümünde, sonuçlardan önce ara. 0,05 dışında bir değer görürsen gerekçesine ve protokolün ya da kayıt belgesinin tarihine bak; 0,10 gibi gevşek bir eşik sonuçla aynı yerde ilk kez beliriyorsa kuşkulan. "p < 0,05" ile yetinen bir tablo gördüğünde tam değeri iste, çünkü o etiket eşiği değil yalnız kararı taşıyor. Aynı çalışmada farklı sonlanımlar farklı alfalarla sınanıyorsa her birinin gerekçesini ayrı ayrı sor.

Kendini sına

1. İki yönlü bir sınamada α = 0,02 seçildi. Her uçta kalan pay nedir ve tabloda solunda 0,99 bırakan değer 2,326 ise kritik değer kaçtır?
2. Van özetindeki 1,77 hangi alfalarda sıfırı reddettirir? Cevabını 0,10, 0,05 ve 0,01 için kritik değerlerle göster.
3. Sıfır doğruyken yürütülen iki bin çalışmada α = 0,01 ile kaç ret beklersin? Eşik her çalışmada p görüldükten sonra seçilseydi bu sayı ne olurdu?
4. Pano protokolünde bedel 40.000 yerine 400.000 lira olsaydı, α = 0,10 ile iyileşme ucundaki beklenen bedel ne olurdu? Bu, eşik tercihini değiştirir miydi?
5. Bir makale "anlamlılık düzeyi p = 0,012 olarak bulundu" yazıyor. Bu cümlede hangi iki nesne birbirine karışmış?
6. Yatak protokolünde alfayı 0,01'e çekmek, 0,05'e göre kaç kat hasta-gün ister? (2,576 ile 1,96'yı kullan.)

Bir sonraki derse köprü

Bu derste alfayı bir kuralın özelliği olarak kurdun ve sıfır doğruyken bu kuralın ne sıklıkla ret verdiğini hesapladın; yatak kurulunun işe yaramayan bir değişikliği benimsemesi de tam bu retlerden biri. Tip I hata dersinde soru şu: sıfır doğruyken onu reddetmenin adı ne, ve alfa bu hatanın hangi olasılığını bağlıyor: sıfır doğruyken ret olasılığını mı, yoksa ret çıkmış bir sonucun yanlış olma olasılığını mı?