Çoklu test, güç ve sonuçların yanlış yorumlanması

Açılış sahnesi

Öğrenci defterindeki bütün sınamaları tek bir sayfaya döküyor. Satır satır: bir ki-kare, iki gruplu birkaç karşılaştırma, bir varyans analizi, bir düzineden fazla korelasyon. Her satırın yanına sonucu yazıyor. Liste uzadıkça tuhaf bir duyguya kapılıyor. Anlamlı çıkanların bir kısmı, görüşmelerde hiç duymadığı, kuramla da bağlayamadığı ilişkiler. Örneğin büyükannenin doğduğu mevsimle torunla oyun oynama sıklığı arasındaki bağ.

Öbür uçta, sahada her görüşmede duyduğu bir şey anlamsız çıkmış: torun bakımı yüzünden kendi sağlık kontrollerini erteleyen kadınlar. Görüşmelerde bu neredeyse bir nakarattı. Sınamada ise fark eşiğin altına inmemiş. Öğrenci sayfaya bakıp iki şeyden şüpheleniyor. Anlamlı çıkanların bazıları şansın ürünü olabilir. Anlamsız çıkanların bazıları ise örneklemin göremeyeceği kadar küçük kaldığı gerçek farklar olabilir.

Bu derste ne olacak

Sayfaya dökülen sınamalar, mevsimle oyun arasındaki garip bağ ve ertelenen sağlık kontrolleri kurgu. Çok sayıda sınamanın yanlış bulgular üretmesi ve küçük örneklemlerin gerçek farkları kaçırması ise sosyal bilimlerde yayımlanmış araştırmaların güvenilirliği üzerine süren tartışmanın tam ortasındaki iki sorundur.

Bu ders kursun kapanışı. Önceki yedi derste kurulan araçların en sık yanlış kullanıldığı iki noktayı ele alıyor: çok sayıda sınama yapıldığında birinci tür hataların nasıl biriktiği ve bir sınamanın gerçek bir farkı yakalama şansının neye bağlı olduğu. Son bölümde, kurs boyunca tek tek anılan yanlış okumalar bir araya getiriliyor ve bir çıkarım bulgusunu raporlarken sorulacak soruların kısa bir listesine dönüşüyor.

Sıfır noktası — İki tür yanılgı

Anlamlılık testi dersinde birinci tür hata tanıtılmıştı: evrende olmayan bir farkı var sanmak. Bu hatanın bir karşılığı vardır ve kurs boyunca adı konmadan birkaç kez anıldı.

Mekanizma — Birikim ve güç

Her sınama, sıfır hipotezi doğru olsa bile küçük bir yanlış alarm olasılığı taşır. Tek bir sınamada bu olasılık küçüktür. Ama sınamalar çoğaldıkça, en az birinin yanlış alarm vermesi neredeyse kaçınılmaz hâle gelir.

Bu birikimi denetlemenin en basit yolu, eşiği sınama sayısına göre sıkılaştırmaktır.

Eşiği sınama sayısına bölmek, İtalyan matematikçi Carlo Emilio Bonferroni'nin adıyla anılan bir eşitsizliğe dayanır ve çok sayıda sınamada son derece tutucu olabilir. Daha sonra geliştirilen yaklaşımlar, bütün sınamalarda hiç yanlış alarm olmamasını değil, anlamlı bulunan sonuçlar içinde yanlış olanların payının küçük tutulmasını hedefler. Bu yaklaşım, çok sayıda sınamanın kaçınılmaz olduğu keşif çalışmalarında daha dengeli bir yol sunar.

Düzeltme tek başına yetmez. Sınamaların önceden hangi soruya cevap vermek için seçildiği ile veriye bakıldıktan sonra hangilerinin denendiği arasındaki fark, hiçbir eşik düzeltmesinin tam olarak telafi edemeyeceği bir sorundur. Araştırma tasarımı kursunda anılan ön kayıt, bu farkı görünür kılmanın bir yoludur. Veriye bakılarak seçilen sınamaların ve analiz kararlarının yayımlanmış bulguları nasıl çarpıttığı, yöntem tartışmaları kursunda ayrıca ele alınacak.

İkinci tür hatanın tersi, bir sınamanın gerçekten var olan bir farkı yakalama olasılığıdır.

Güç düşükse, anlamsız bir sonuç neredeyse hiçbir şey söylemez. Fark olmadığı için de anlamsız çıkabilir, fark olduğu hâlde örneklem onu göremediği için de. Bu yüzden güç, bir araştırmanın veri toplanmadan önce düşünülmesi gereken bir özelliğidir.

Kuramsal mercekler

Çoklu test ve güç sorunları, tek tek araştırmacıların hatasından çok, bilim kurumlarının işleyişiyle ilgili bir tartışmanın parçasıdır. Anlamlı sonuçların anlamsızlardan daha kolay yayımlandığı bir düzende, çok sayıda sınama yapıp anlamlı olanları öne çıkarmak ve küçük örneklemlerle hızlı çalışmalar yürütmek bireysel olarak ödüllendirilebilir. Bu bakışa göre sorun istatistik bilgisinin eksikliği değil, teşvik yapısıdır.

Öteki bakış, sorunun kökünü anlamlılık testinin kendisinde görür. Sonucu ikiye bölen bir karar kuralı, karmaşık bir toplumsal gerçekliği ikiye bölmeye zorlar. Bu bakışa göre çözüm daha katı eşikler değil, etki büyüklüklerinin, aralıkların ve birikimli kanıtın öne çıkarıldığı bir raporlama anlayışıdır.

Ölçek

Çoklu test sorunu, tek bir makalenin ölçeğinde de bir alanın bütününün ölçeğinde de ortaya çıkar. Tek bir makalede yapılan sınamalar raporlanabilir ve düzeltilebilir. Ama bir alanda birbirinden habersiz çalışan yüzlerce araştırmacı aynı soruyu farklı verilerle sınıyorsa, yalnız anlamlı çıkanlar yayımlandığında alanın bütünü tek bir dev çoklu test gibi davranır.

Türkiye bağlamı ve karşılaştırma

Türkiye'de lisansüstü tezlerde, çok sayıda demografik değişkene göre yapılan karşılaştırmaların anlamlı çıkanlarıyla birlikte raporlandığı tablolar sık görülen bir biçimdir. Böyle bir tabloyu okurken sorulacak soru, toplam kaç sınama yapıldığı, bunların önceden hangi kuramsal beklentiyle seçildiği ve anlamsız çıkanların neden anlamsız çıktığıdır. Güç hesabı yapılmamış bir çalışmada, anlamsız sonuçların fark olmadığı biçiminde yorumlanması özellikle dikkat gerektirir.

Uluslararası karşılaştırmada, çok sayıda laboratuvarın aynı çalışmayı aynı protokolle tekrarladığı büyük ölçekli işbirlikleri, bu sorunlara yanıt olarak ortaya çıkmıştır. Bu işbirlikleri tek bir çalışmanın düşük gücünü birleşik örneklemlerle aşar ve bir bulgunun farklı ülkelerde tutarlı olup olmadığını aynı anda sınar.

Bu bilgiyi nasıl biliyoruz?

Kurs boyunca kurulan araçların hepsi, olası örneklemler dünyası fikrine dayanıyordu. Bir sonucun şansla açıklanıp açıklanamayacağını, doğru cevabı önceden bilinen yapay verilerle yürütülen canlandırmalar, olasılık kuramının matematiksel sonuçları ve farklı araştırmaların birbirini tekrarlayıp tekrarlamadığı üzerinden biliyoruz. Bu kapanış dersindeki sorunlar da aynı yollarla ortaya çıkarılmıştır: yanlış alarmların birikimi canlandırmalarla, düşük gücün yaygınlığı yayımlanmış literatürün taranmasıyla, yanıltıcı bulguların ağırlığı tekrarlama çalışmalarıyla görünür olmuştur.

Kurs boyunca biriken yanlış okumalar, bir bulgu raporunu okurken ya da yazarken sorulacak birkaç soruya indirgenebilir. Fark ne kadar büyük ve aralığı ne kadar geniş? Bu sonuç kaç sınamanın biri? Sınama önceden mi seçildi, veriye bakıldıktan sonra mı? Anlamsız bir sonuç, fark olmadığını mı gösteriyor, yoksa güç mü yetmedi? Anlamlı sonuç, günlük hayatta bir şey değiştirecek büyüklükte mi?

Yaygın hatalar

Aklında kalsın

1. Birinci tür hata olmayanı görmek, ikinci tür hata olanı kaçırmaktır.
2. Sınamalar çoğaldıkça yanlış alarmlar birikir ve yalnız anlamlılar raporlanırsa görünmez olur.
3. Düzeltilmiş eşik yanlış alarmları azaltır, ama var olan etkileri gözden kaçırmayı kolaylaştırır.
4. Güç etkinin büyüklüğüne, örneklem büyüklüğüne ve seçilen eşiğe bağlıdır.
5. Güç analizi veri toplanmadan önce yapılır ve sorunun kaynaklara sığıp sığmadığını gösterir.
6. Düşük güçlü çalışmaların anlamlı sonuçları etkiyi çoğu zaman şişirir.
7. İyi bir çıkarım raporu büyüklüğü, aralığı, sınama sayısını ve gücü birlikte düşünür.

Sonraki derse köprü

Bu kurs boyunca kurulan her araç, sessiz bir varsayıma dayanıyordu: evrende bilinmeyen ama sabit bir gerçek değer var ve örneklem ona ne kadar yaklaştığımızı ölçmemizi sağlıyor. Büyükannelerin bakım saatlerinin gerçek ortalaması, kızın işi ile bakım arasındaki gerçek ilişki. Peki toplumsal dünya gerçekten böyle mi? Bakım bir kadının kendi anlattığı bir anlam da taşıyorsa, bir sayı onun neresini yakalar? Yöntem tartışmaları kursu bu soruyla açılıyor: dünyayı ölçülmeyi bekleyen gerçekliklerden oluşan bir alan olarak gören pozitivizm, onu anlamlar üzerinden kavramaya çalışan yorumculuk, gözlenenin ardındaki mekanizmaları arayan realizm ve soruyu işe yarayan yöntemle karşılayan pragmatizm arasındaki ayrım.