İstatistiksel anlamlılık

Açılış sahnesi

Salı sabahı, bir dermatoloji polikliniğinin toplantı odasında makale kulübü başlamak üzere. Bir asistan hekim ekrana bir özet yansıtıyor: yirmi hastanın bir koluna yeni bir nemlendirici, öteki koluna eskisi sürülmüş, hangi kremin hangi kolda olduğunu ne hasta ne değerlendiren biliyormuş. İki hafta sonra yirmi hastanın on beşi yeni kremli kolunun daha az kaşındığını söylemiş. Özetin son cümlesi şu: "Fark istatistiksel olarak anlamlıydı (p = 0,04)."

Odadakilerin çoğu bu cümleyi "yeni krem daha iyi, fark gerçek ve önemli" diye duyuyor. Cümlenin söylediği şey ise çok daha dar: iki krem arasında hiç fark olmasaydı, yirmi hastanın on beşinin ya da daha fazlasının aynı tarafı seçmesi seyrek bir rastlantı olurdu. Bu iki okuma arasındaki mesafe, bu dersin ve bu modülün konusu. Bu derste o mesafeyi elle, yazı-tura hesabıyla ölçeceksin.

Bu derste ne olacak

Önce p değerinin neyi ölçtüğünü, açılıştaki yirmi hastayı sayarak kuracağız. Sonra aynı etkinin örneklem büyüdükçe nasıl "anlamlı" hâle geldiğini üç çalışma büyüklüğünde hesaplayacağız ve en yaygın dört yanlış okumayı bu hesapların üzerinde ele alacağız. Ardından yüzde beşlik eşiğin nereden geldiğine ve çok sayıda sınama yapıldığında ne olduğuna geçeceğiz. Son bölümde anlamlılık sınamasının doğru kullanımına geleceğiz.

Sıfır noktası

Açılıştaki çalışmada sıfır hipotezi şunu söylüyor: iki krem arasında fark yok. Bu doğruysa her hasta için "yeni kremli kol daha iyi" demek yazı-tura atmaktan farksızdır, olasılığı yarı yarıya. Yirmi hasta, yirmi kez atılan bir para gibi davranır. Soru o zaman şuna dönüşüyor: yirmi atışta on beş ya da daha fazla yazı ne sıklıkla gelir?

Bunu elle sayabilirsin. Yirmi atışın bütün olası dizileri 2²⁰ = 1.048.576 tane. Bunların tam on beş yazı içerenleri 15.504, on altı yazı içerenleri 4.845, on yedi 1.140, on sekiz 190, on dokuz 20 ve yirmi yazı içeren tek bir dizi var. Toplam 15.504 + 4.845 + 1.140 + 190 + 20 + 1 = 21.700 dizi. Oran 21.700 ÷ 1.048.576 ≈ 0,021, yani fark yokken bu kadar uç bir sonuç yaklaşık yüz denemede iki kez çıkar.

Çalışma yönü önceden belirlemediği için öteki uç da sayılır: on beş ya da daha fazla hastanın eski kremi seçmesi de aynı ölçüde uç bir sonuç olurdu. İki ucu toplayınca 2 × 0,021 ≈ 0,041 çıkıyor; özetteki p = 0,04 budur. Karşılaştırma için on iki hastanın yeni kremi seçtiğini düşün. Aynı sayımla on iki ya da daha fazla yazı gelme olasılığı yaklaşık 0,25, iki uçlu değer yaklaşık 0,50. On iki yirmiden, yazı-turanın her gün ürettiği bir sonuç.

Tanımdaki sıra dersin merkezi ve sık ters çevriliyor. p değeri şu soruyu cevaplar: sıfır hipotezi doğruysa bu veri ne kadar beklenmedik? Şu soruyu cevaplamaz: veriyi gördükten sonra sıfır hipotezinin doğru olma olasılığı ne? İkincisini cevaplamak için bir şey daha gerekir, o da ön test olasılığı dersinde kurduğun başlangıç olasılığıdır.

Mekanizma

Aynı etki, üç büyüklük

p değeri yalnız etkinin büyüklüğünden gelmiyor; kaç kişiye bakıldığından da geliyor. Bunu görmek için tercih oranını sabit tut: hastaların yüzde 60'ı yeni kremi seçsin, fark yokken beklenen yüzde 50'den 0,10 uzakta. Farkın rastlantıyla ne kadar oynayacağını standart hata söyler ve yazı-tura için 0,5 ÷ √n olarak yazılır. Sonra farkı standart hataya bölersin: z = fark ÷ standart hata. z ne kadar büyükse sonuç sıfır hipotezi altında o kadar uçtadır ve p o kadar küçülür.

Yirmi hastada standart hata 0,5 ÷ √20 ≈ 0,112 ve z = 0,10 ÷ 0,112 ≈ 0,89; bu da yaklaşık 0,37'lik bir p değeri demek. Yüz hastada standart hata 0,5 ÷ 10 = 0,05 ve z = 0,10 ÷ 0,05 = 2, p yaklaşık 0,046. Dört yüz hastada standart hata 0,5 ÷ 20 = 0,025 ve z = 0,10 ÷ 0,025 = 4, p yaklaşık 0,00006. Etki üçünde de aynı, yüzde 60 tercih. Değişen tek şey örneklem ve p değeri "hiç de ilginç değil"den "son derece anlamlı"ya geçiyor.

Bu hesap dört yaygın yanlış okumanın ikisini birden gösteriyor. Birincisi "p değeri küçüldükçe etki büyür" okuması: dört yüz hastalık çalışmanın p değeri yirmi hastalığınkinden binlerce kat küçük, ama etki aynı. İkincisi "anlamlı değil, o hâlde fark yok" okuması: yirmi hastalık çalışma anlamlı çıkmadı, oysa etki dört yüz hastalıkta açıkça görülen etkinin aynısı. Küçük çalışma farkı bulamadı, çünkü bulacak güçte değildi.

"Fark yok" ile "fark gösterilemedi" arasındaki ayrımı çalışma tasarımı modülünde, üstünlük, eşdeğerlik ve aşağı kalmama çalışmalarını ayırırken görmüştün (L01-P02-M03-D07). Yirmi hastalık çalışmanın dürüst cümlesi ikincisidir. "Fark yok" diyebilmek için etkinin küçük olduğunu gösteren dar bir aralık gerekir, yalnız büyük bir p değeri yetmez.

Kalan iki yanlış okuma

Üçüncü yanlış okuma "anlamlı, o hâlde önemli" okumasıdır ve vakadaki ikinci çalışma onun örneği. Yüzde bir puanlık bir tercih farkı, on bin kişilik bir örneklemde rahatlıkla anlamlı çıkar, ama bir hekimin reçetesini değiştirecek bir büyüklük değildir. Anlamlılık bir büyüklük ifadesi değil; yalnız, verinin sıfır hipoteziyle ne kadar uyuşmadığını söylüyor.

Dördüncüsü en inatçı olanı: "p değeri, sonucun şansa bağlı olma olasılığıdır." Açılıştaki 0,041 böyle okununca "kremin işe yaramama olasılığı yüzde dört" olur ve bu yanlış. Hesabı yaparken kremin işe yaramadığını baştan varsaydın ve o varsayım altında verinin olasılığını saydın; hipotezin olasılığını hiç hesaplamadın. Koşullu olasılığın yönü ters çevrilmiş oluyor.

Bu ters çevirme tanı testlerinden tanıdık. "Hastaysa testin pozitif çıkma olasılığı" ile "test pozitifse hasta olma olasılığı" farklı sayılardır ve ikincisi taban orana bağlıdır (L01-P05-M02-D04). p değeri birinci türden bir sayı: "fark yoksa bu verinin olasılığı." Okurun duymak istediği ise ikinci türden bir sayı, "bu veriyle fark olmama olasılığı", ve onu p değeri tek başına veremez.

Eşik nereden geliyor

Yaygın 0,05 eşiği bir uzlaşımdır, bir doğa yasası değil. Bir sınırın seçilmesi gerekiyordu ve seçilen sınır zamanla standartlaştı. Sınırın kendisinde matematiksel bir zorunluluk yok ve bu, bu dersin en az bilinen bilgisi. Uzlaşımın bedeli, eşiğin iki yanında toplanıyor.

z = 1,94 olan bir sonucun p değeri yaklaşık 0,052, z = 1,98 olan bir sonucunki yaklaşık 0,048. İki sonuç neredeyse aynı kanıtı taşıyor, ama biri "anlamlı değil", öteki "anlamlı" diye bildirilir. Çapa etkisi dersinde referans aralığının sınırı için gördüğün eşik çapası burada aynen işliyor: sınır, kendisi bir karar noktası hâline geliyor. "Anlamlı / anlamlı değil" ayrımı sürekli bir ölçüyü ikiye bölüyor ve aradaki dereceyi siliyor.

Kartın son cümlesini hesapla birlikte oku. 0,048 ile 0,052 arasındaki fark, veride bir şeyin değiştiğini değil, bir çizginin nereye çekildiğini gösteriyor. Bu yüzden bir raporda p değerinin kendisini görmek, yalnız "anlamlı" etiketini görmekten daha fazla bilgi verir.

Çoklu karşılaştırma

Eşiğin tanımı başka bir şeyi de beraberinde getiriyor. Fark yokken bir sınamanın rastlantıyla eşiği geçme olasılığı 0,05 ise, fark olmayan yirmi ayrı karşılaştırmada beklenen "anlamlı" sonuç sayısı 20 × 0,05 = 1'dir. Çoklu test sorunu dersinde bu aritmetiği bir laboratuvar paneli için, rastlantısal anormallik dersinde görüntüleme için kurmuştun. Araştırma analizinde de aynı hesap geçerli: krem çalışması kaşıntının yanında kızarıklık, kuruluk, uyku ve on altı başka sonlanıma daha baksaydı, birinin "anlamlı" çıkması şaşırtıcı olmazdı.

Karşı önlemler çalışma tasarımı derslerinden tanıdık: önceden kayıt, tek birincil sonlanım ve çoklu karşılaştırma düzeltmesi. Önceden kayıtta hipotez, birincil sonlanım ve analiz planı veri toplanmadan ilan edilir (L01-P02-M01-D06). Keşif amaçlı taramada bulunan bir "anlamlı" sonuç sınanacak bir hipotezdir, sınanmış bir bulgu değil.

Ne yapmalı

Bu ders bir yıkım dersi değil; anlamlılık sınaması bir işe yarıyor, çünkü rastlantının tek başına üretebileceği sonuçları ayıklıyor. Ama tek başına kullanıldığında yarım bilgi veriyor. Doğru kullanım üç adımlıdır ve modülün geri kalanı bu adımların üzerine kurulu.

İlk adım etki büyüklüğüne bakmak: fark ne kadar ve hangi ölçüyle ifade edilmiş? Krem çalışmasında bu, "yüzde 60 tercih" ya da "yüzde 51 tercih" cümlesidir ve önceki modüldeki risk ölçüleri bu işi görür. İkinci adım güven aralığına bakmak, yani büyüklüğün ne kadar belirsiz olduğunu görmek. Üçüncü adım o büyüklüğü klinik bir ölçütle karşılaştırmak: bu fark, bu hasta için bir şey değiştirir mi? p değeri bu üç adımdan sonra gelen bir ek bilgidir, onların yerine geçen bir özet değil.

Klinik gerçeklik

Bir hastanın getirdiği haberde ya da bir makale özetinde "anlamlı fark bulundu" cümlesini gördüğünde ilk sorun, farkın ne kadar olduğu olmalı. Sayı verilmemişse cümle eksiktir ve bu tek soru çoğu haberi eler: etki büyüklüğü verilmeyen bir "anlamlı fark" bildirimi kullanılabilir bilgi taşımıyor. Ardından güven aralığını ara ve bu büyüklüğün hasta için bir şey değiştirip değiştirmeyeceğini düşün.

Sonra kaç sınama yapıldığını ve bu sonlanımın önceden belirlenip belirlenmediğini sor; yirmi sonlanımdan birinin anlamlı çıkması, tek birincil sonlanımın anlamlı çıkmasıyla aynı ağırlıkta değildir. Cümle "anlamlı değil" ise sorun tersine döner: çalışma bu farkı bulacak büyüklükte miydi? Yirmi hastalık krem çalışması, dört yüz hastada apaçık görünecek bir etkiyi kaçırabiliyordu.

Açılıştaki makale kulübüne bu gözle dön. "Yirmi hastanın on beşi, p = 0,04" cümlesi, kremin işe yaramama olasılığının yüzde dört olduğunu söylemiyor. Fark yoksa bu kadar uç bir tercihin yüz denemede dört kez çıkacağını söylüyor. Kremin ne kadar iyi olduğu ve bunun ne kadar kesin bilindiği ise ayrı sayılar ister.

Kendini sına

1. p değerinin tanımını yaz. Hangi olasılığı verir, hangisini vermez?
2. Yirmi hastanın on altısı yeni kremi seçseydi, on altı ya da daha fazla yazı içeren dizileri sayarak tek uçlu p değerini hesapla. (İpucu: 4.845 + 1.140 + 190 + 20 + 1.)
3. Tercih oranı yüzde 60 kalırken hasta sayısı 20'den 400'e çıkınca z değeri neden 0,89'dan 4'e çıkıyor? Standart hatanın formülünü kullanarak açıkla.
4. Yirmi hastalık çalışmanın p = 0,37 çıkması "iki krem arasında fark yok" demeye izin verir mi? Neden?
5. p değerinin ters çevrilmesi, tanı testlerindeki hangi ayrımla aynı yapıda?
6. Vakadaki iki çalışma neden aynı p değerine sahip? Hangi ölçü onları ayırt eder?
7. Eşik nereden geliyor? 0,048 ile 0,052 örneği ikileştirme kaybını nasıl gösteriyor?
8. Fark olmayan yirmi karşılaştırmada beklenen "anlamlı" sonuç sayısını hesapla. Karşı önlemler neler?

Bir sonraki derse köprü

Vakadaki iki çalışmayı p değeri ayıramadı; ayıran, yüzde 50 ile 70 ve yüzde 50 ile 52 arasına kabaca uzanan iki aralıktı. Sıradaki ders o aralığı nokta tahmininin yanına koyuyor ve bir ortalama farkı için onu elle kurmayı gösteriyor. Aralıkta neyin okunduğunu, genişliğini, konumunu ve sınırlarını, ayrıca "yüzde 95" ifadesinin tek bir aralığın değil aralığı üreten yöntemin başarısı olduğunu orada göreceksin.