p değeri ne söyler, ne söylemez

Açılış sahnesi

Kerem, psikoloji bölümünün son sınıfında bir bitirme projesi yürütüyor. Bir arkadaşının geliştirdiği bir bellek uygulamasının işe yarayıp yaramadığını sınamak için kırk öğrenciyi şansla iki gruba ayırıyor: yarısı iki hafta boyunca uygulamayla kelime çalışıyor, yarısı aynı kelimeleri kâğıttan. Sonunda iki gruba aynı kelime testini veriyor.

Uygulamayı kullananların ortalaması biraz daha yüksek çıkıyor. Kerem istatistik programında testi çalıştırıyor ve ekranda "p = 0,03" yazıyor. Heyecanla danışmanının odasına giriyor: "Sonuç anlamlı! Uygulamanın işe yaramadığı ihtimali sadece yüzde üç. Yani yüzde doksan yedi ihtimalle işe yarıyor."

Danışmanı gülümsüyor ve üç soru soruyor. "Uygulamanın işe yaramadığını varsaysaydın, bu sonucu görme ihtimalin ne olurdu?" Kerem "yüzde üç" diyor. "Peki şimdi tersini sor: bu sonucu gördüğüne göre, uygulamanın işe yaramaması ihtimali ne?" Kerem duraksıyor. "Aynı şey değil mi?"

Danışman üçüncü soruyu soruyor: "Bu testten başka kaç test çalıştırdın?" Kerem biraz utanarak itiraf ediyor: anlamlı sonucu bulmadan önce kelime testinin üç ayrı alt puanına, kız ve erkek öğrencilere ayrı ayrı ve testin hemen sonrasına ve bir hafta sonrasına bakmış. Toplam on iki sınama.

Kerem'in "yüzde doksan yedi" cümlesindeki her sözcük, bu dersin konusu.

Bu derste ne olacak

Önceki ders bir tahminin etrafındaki belirsizliği bir aralıkla gösterdi. Bu ders, psikoloji makalelerinin çoğunda o aralığın yerine geçen küçük sayıya, p değerine bakıyor.

Terapi tarafında S00-P02-D07 p değerini ve istatistiksel anlamlılığı tanımladı. Orada p değerinin etkinin büyüklüğünü söylemediği, hipotezin doğru olma olasılığı olmadığı, tekrarlanacağını garanti etmediği ve "anlamlı değil" ile "fark yok"un aynı şey olmadığı gösterildi; yayımlanmış p değerlerinin eşiğin hemen altında yığıldığı da. Bu ders o konuları yinelemeyecek.

Burada bir katman derine ineceğiz. Önce p değerinin üzerine kurulduğu mantığı, sıfır hipotezini ve anlamlılık düzeyini göreceğiz. Sonra bu mantığın iki tür hata ürettiğini ve bunların birbirine bağlı olduğunu göreceğiz. Ardından Kerem'in iki sorusuna döneceğiz: bir sonuç anlamlı çıktığında yanlış olma olasılığı neye bağlı, ve birçok sınama yapıldığında ne olur? Son olarak alanın bu sayıyla ilgili tartışmalarına bakacağız.

Kerem ve bellek uygulaması anlatım için kurgulandı; p değerlerinin yanlış okunmasına dair araştırmalar, istatistik derneklerinin bildirgeleri ve fizikteki keşif eşiği ise belgelenmiş kaynaklardan.

Sıfır noktası

Varsayımla başlamak

p değerinin mantığı ters yönden işler. Göstermek istediğimiz şeyi doğrudan sınamak yerine, onun tersini varsayar ve verinin bu varsayımla ne kadar uyumlu olduğuna bakarız.

Mekanizma

İki tür yanılgı

Bir sınamanın sonunda iki karardan birini veririz: sıfır hipotezini reddederiz ya da reddetmeyiz. Evrende de iki durumdan biri gerçektir: etki vardır ya da yoktur. Bu, dört olası sonuç üretir; ikisi doğru, ikisi yanlış karar.

Anlamlı bulguların ne kadarı doğru?

Kerem'in ikinci sorusuna dönelim: sonuç anlamlı çıktığında, bulgunun yanlış olma olasılığı nedir? Bu soru p değerinin cevapladığı soru değil. Cevabı, p değerinin dışındaki iki şeye bağlı: sınanan hipotezlerin baştan ne kadarının doğru olduğuna ve gerçek etkileri yakalama gücüne.

Birden çok sınama

Usta katmanı

Kanıtın sınırı

p değerinin tanımı ve matematiği net; tartışma, onun bilimsel kararlarda nasıl kullanılması gerektiği üzerine ve bu tartışma sürüyor.

Bazı istatistikçiler, p değerinin cevapladığı sorunun, yani "sıfır hipotezi doğruysa bu veri ne kadar beklenmedik" sorusunun, araştırmacıların asıl merak ettiği soru olmadığını savunuyor. Onlara göre araştırmacılar "bu veriyi gördükten sonra hipotezim ne kadar akla yatkın" sorusunu soruyor ve bu soru, olasılığı bir kişinin bir iddiaya ne kadar güvendiğinin ölçüsü sayan farklı bir yaklaşımla daha doğrudan cevaplanabilir. Bu yaklaşımın da kendi zorlukları var: sonuçlar, baştan yapılan varsayımlara duyarlı olabiliyor.

p değerinin yerine güven aralıklarının ve etki büyüklüklerinin raporlanması, birçok derginin önerisi hâline geldi. Ama aralıkların da, M03-D06'da gördüğümüz gibi, çoğu zaman yalnızca sıfırı içerip içermediğine bakılarak, eşik geçildi mi geçilmedi mi sorusuna indirgenerek okunduğu bildiriliyor. Sorunun bir sayının yerine başka bir sayı koymakla değil, kanıtı sürekli ve belirsizlikleriyle birlikte düşünme alışkanlığıyla çözüleceği görüşü giderek yaygınlaşıyor.

Bir etkinin olmadığını göstermek için sıfır hipotezini reddetmemek yetmez; bunun için, etkinin belirli bir küçük sınırdan büyük olmadığını sınayan eşdeğerlik sınamaları gibi farklı yöntemler gerekiyor ve bunlar psikolojide yeni yeni yaygınlaşıyor.

Kendin dene

Aklında kalsın

p değeri, etkinin hiç olmadığı varsayılınca elimizdeki veri ne kadar şaşırtıcı kalıyor, onu ölçer; sıfır hipotezi araştırmacının inandığı hipotez değil, sınamanın başlangıç varsayımıdır.

Birinci tür hata var olmayan bir etkiyi bulmak, ikinci tür hata var olan bir etkiyi kaçırmaktır; aynı veriyle birini azaltmak öbürünü artırır ve anlamlılık düzeyi bu dengeye dair bir seçimdir.

Anlamlı bir sonucun yanlış olma olasılığı p değerine eşit değildir; sınanan hipotezlerin baştan ne kadar akla yatkın olduğuna ve sınamaların gücüne bağlıdır ve yüzde beşin çok üstünde olabilir.

Birçok sınama yapıldığında en az birinin şansla anlamlı çıkma olasılığı hızla büyür; kaç sınama yapıldığı bilinmeden tek bir anlamlı sonuç değerlendirilemez.

Yıldızlar, "eğilim" dili ve tek bir çalışmanın p değeri, bir bulgunun ne kadar büyük ve ne kadar güvenilir olduğu hakkında sanıldığından az bilgi verir; binlerce kişilik örneklemlerde küçücük farklar bile eşiği kolayca geçer.

Sonraki derse köprü

Bu dersin sonunda yeterince büyük bir örneklemde inanılmayacak kadar küçük bir ilişkinin bile anlamlı çıkabildiğini gördük. Kerem'in bellek uygulaması da, yüz bin öğrenciyle sınansaydı, tek bir kelimelik bir farkla bile anlamlı çıkabilirdi.

O zaman asıl merak etmemiz gereken soru şu: uygulama, kâğıttan çalışmaya göre ne kadar fark yaratıyor? Bir kelime mi, on kelime mi? Ve bu fark, bir öğrencinin gerçek hayatında, bir sınavda ya da bir yabancı dilde anlaşmaya çalışırken fark edilecek kadar büyük mü? Farkın büyüklüğünü ölçeğin biriminden bağımsız bir sayıyla ifade etmenin ve o sayıyı gündelik bir karşılığa çevirmenin yolları var; sonraki ders bunları anlatıyor: etki büyüklüğü.