Sıfır hipotezi ve anlamlılık testi

Açılış sahnesi

Öğrenci örneklemini ikiye ayırdı. Bir tarafta kızı ücretli bir işte çalışan büyükanneler, öbür tarafta kızı evde olanlar. Birinci grubun haftalık bakım saatlerinin ortalaması ikinciden açıkça yüksek. Tabloya bakınca içi rahatlıyor: sahada duyduğu hikâyeler sayıya dönüşmüş gibi.

Danışman aynı tabloya bakıp tek bir şey soruyor. Bu iki grubun ortalamaları, evde gerçekte hiçbir fark olmasa bile, yalnızca kuranın getirdiği kadınlar yüzünden bu kadar ayrı düşebilir miydi? Öğrenci bir önceki haftayı hatırlıyor. Tek bir ortalamanın bile olası örneklemler arasında oynadığını görmüştü. İki ortalamanın farkı da oynar. Öyleyse elindeki fark, oynamanın olağan bir sonucu mu, yoksa ondan fazlası mı?

Soruyu yanıtlamanın yolu ilk bakışta ters görünüyor. Öğrenci farkın var olduğunu kanıtlamaya çalışmayacak. Farkın olmadığını varsayacak ve verisinin bu varsayımla ne kadar zor bağdaştığını ölçecek.

Bu derste ne olacak

Öğrencinin iki gruplu tablosu ve danışmanın sorusu dersin kurgu tarafında duruyor. Bir farkın şansla açıklanıp açıklanamayacağını sınamak ise sosyal araştırmada en sık başvurulan ve en sık yanlış okunan işlemlerden biri.

Bu ders anlamlılık testinin mantığını formülsüz kuruyor. Sıfır hipotezinin neden bir karşıt varsayım olarak seçildiği, verinin bu varsayıma göre ne kadar şaşırtıcı olduğunun nasıl ölçüldüğü, karar eşiğinin nasıl belirlendiği ve bu kararın hangi hatayı göze aldığı dersin konuları. Dersin ikinci yarısı, anlamlılık testinin neyi söylemediğine ayrılıyor, çünkü yöntemin gücü kadar sınırı da iyi bilinmeli.

Sıfır noktası — Karşıt varsayımla başlamak

Bilimsel yöntem kursunda hipotez, kuramdan türetilen ve gözlemle sınanabilen bir önerme olarak tanımlanmıştı. Öğrencinin hipotezi açık: kızı çalışan büyükanneler torun bakımına daha çok saat ayırır. Ama istatistiksel sınama doğrudan bu önermeyle değil, onun karşıtıyla çalışır.

Neden tersinden başlanır? Çünkü farkın olmadığı durum tek ve kesin bir durumdur ve onun altında verinin nasıl dağılacağı hesaplanabilir. Farkın var olduğu durum ise sayısız olasılık içerir: fark küçük olabilir, orta olabilir, büyük olabilir. Kesin bir karşıt varsayım kurmak, ölçülebilir bir soru sormayı mümkün kılar.

Mekanizma — Verinin ne kadar şaşırtıcı olduğunu ölçmek

Sınama birkaç adımda ilerler. Önce sıfır hipotezi kurulur. Sonra örneklemdeki fark, standart hatasıyla karşılaştırılarak tek bir ölçüye dönüştürülür. Önceki derste standart hatanın, bir istatistiğin kuradan kuraya olağan salınımını ölçtüğü görülmüştü. Gözlenen fark bu tipik oynamanın yanında küçük kalıyorsa şaşırtıcı değildir. Tipik oynamanın birkaç katına ulaşıyorsa, sıfır hipotezi altında pek beklenmeyen bir sonuçtur.

Bu şaşırtıcılık, bir olasılıkla ifade edilir.

Bu tanımın koşullu yapısı, dersin en önemli noktasıdır. p değeri "fark yoksa bu veri ne kadar olası" sorusunun cevabıdır. "Bu veri varken fark olmama olasılığı nedir" sorusunun cevabı değildir. İki soru birbirine benzer, ama cevapları çok farklı olabilir.

Karar vermek için p değeri önceden belirlenmiş bir eşikle karşılaştırılır.

p değeri eşiğin altındaysa sonuç istatistiksel olarak anlamlı sayılır ve sıfır hipotezi reddedilir. Eşiğin üstündeyse sıfır hipotezi reddedilemez. Bu ikinci durum, fark olmadığının gösterildiği anlamına gelmez. Yalnızca eldeki verinin, fark olmadığı varsayımını çürütecek kadar güçlü olmadığını söyler.

Her kararın bir hata olasılığı vardır. Sıfır hipotezi gerçekte doğruysa, şans yine de zaman zaman eşiğin altına düşen bir p değeri üretir.

Anlamlılık testi ile önceki dersteki güven aralığı arasında yakın bir bağ vardır. İki grubun farkı için hesaplanan güven aralığı sıfırı içine almıyorsa, aynı güven düzeyine karşılık gelen eşikte fark anlamlı çıkar. Aralık sıfırı içine alıyorsa anlamlı çıkmaz. Aralık bu bilgiye ek olarak farkın ne kadar büyük olabileceğini de gösterdiği için, yalnız p değeri vermekten daha zengin bir rapordur.

Kuramsal mercekler

Bugün ders kitaplarında tek bir yöntem gibi anlatılan anlamlılık testi, aslında iki ayrı düşünce geleneğinin birleşiminden doğmuştur ve bu iki gelenek birbirine karşı epey sert tartışmalar yürütmüştür.

Birinci gelenekte p değeri bir kanıt ölçüsüdür ve ne kadar küçük olduğu önemlidir. İkinci gelenekte ise yalnızca eşiğin altında mı üstünde mi olduğu önemlidir, çünkü amaç uzun dönemde hata oranını denetim altında tutan bir karar kuralıdır. Bugün yaygın olan uygulama, p değerini hem bir kanıt derecesi gibi raporlar hem de bir eşikle ikiye ayırır.

Ölçek

Anlamlılık, bulgunun büyüklüğüne olduğu kadar örneklemin büyüklüğüne de bağlıdır. Standart hata örneklem büyüdükçe küçüldüğü için, çok büyük örneklemlerde son derece küçük farklar bile olağan oynamanın dışına düşer ve anlamlı çıkar. Çok küçük örneklemlerde ise büyük farklar bile anlamsız kalabilir.

Bu yüzden bir bulgunun hangi düzeyde raporlandığı, onun anlamlılığını doğrudan etkiler. Bütün örneklem üzerinde anlamlı çıkan bir fark, alt gruplara inildikçe anlamlılığını yitirebilir. Bu, farkın alt gruplarda ortadan kalktığını değil, alt grupların onu ayırt edecek kadar büyük olmadığını gösterir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de istatistik dilinin en çok karışıklık yaratan sözcüklerinden biri "anlamlı" sözcüğüdür. Gündelik Türkçede anlamlı, önemli, manalı, üzerinde durulmaya değer demektir. İstatistikte ise yalnızca bir farkın şansla açıklanması güç olduğunu anlatır. Bir tezde anlamlı bir fark bulunduğu yazıldığında, okur çoğu zaman önemli bir fark bulunduğunu anlar. Aynı sorun İngilizcedeki karşılık için de geçerlidir ve uluslararası yöntem tartışmalarında sıkça dile getirilir.

p değerlerinin nasıl kullanılması gerektiği konusunda uluslararası düzeyde süren bir tartışma var ve bu tartışma bazı kurumsal adımlara da dönüşmüştür.

Bu bilgiyi nasıl biliyoruz?

Anlamlılık testinin mantığı, önceki iki dersin üzerine kuruludur. Örnekleme dağılımı, sıfır hipotezi altında bir istatistiğin nasıl davranacağını gösterir. Standart hata bu davranışın genişliğini ölçer. p değeri ise gözlenen sonucun bu dağılımın neresine düştüğünü söyler. Yöntemin uzun dönemde söz verdiği hata oranını tutturduğu, gerçekte fark olmadığı bilinen verilerle yapılan canlandırmalarla sınanabilir.

Yaygın hatalar

Aklında kalsın

1. Sıfır hipotezi fark olmadığını varsayar ve sınamanın karşıt ölçütüdür.
2. p değeri, fark yoksa bu kadar büyük bir farkın çıkma olasılığıdır, farkın olmama olasılığı değil.
3. Anlamlılık düzeyi veriyi görmeden önce belirlenir.
4. Anlamsız sonuç fark olmadığını göstermez, yalnızca eldeki kanıtın sıfır hipotezini çürütmeye yetmediğini gösterir.
5. Birinci tür hata olasılığı seçilen anlamlılık düzeyine eşittir.
6. Büyük örneklemde küçük farklar da anlamlı çıkar, küçük örneklemde büyük farklar anlamsız kalabilir.
7. İstatistikteki anlamlı, gündelik dildeki önemli demek değildir.

Sonraki derse köprü

Öğrencinin sınaması anlamlı çıkıyor. Kızı çalışan büyükannelerin torun bakımına daha çok saat ayırdığı sonucu şansla açıklanamıyor. Ama danışman bir soru daha soruyor: fark ne kadar büyük? Haftada birkaç dakikalık bir fark da anlamlı çıkabilir, bir iş gününe denk gelen bir fark da. Birincisi bir yaşlının hayatında hiçbir şeyi değiştirmez, ikincisi ise bir kadının haftasını baştan kurar. Bir bulgunun şanstan ayırt edilebilir olmasıyla gerçek hayatta bir ağırlık taşıması arasındaki bu ayrımı ölçmenin yolu etki büyüklüğü, ona karar vermenin yolu ise pratik önem.