Yayın yanlılığı, p-hacking ve HARKing

Açılış sahnesi

Öğrencinin bilgisayarında adı taslaklar olan bir klasör var ve içinde hiç gönderilmemiş iki makale duruyor. Birincisi, torun bakımının büyükannelerin yalnızlık duygusunu azaltıp azaltmadığını sınıyordu. Sonuç anlamsız çıkmıştı. İkincisi, emeklilik yaşının bakım saatleriyle ilişkisine bakıyordu ve o da anlamsızdı. İkisini de bir kenara koymuştu, çünkü danışmanı anlamsız sonuçların dergilerde zor yer bulduğunu söylemişti.

Şimdi, doktora başvurusu için yayın listesini hazırlarken klasöre yeniden bakıyor. Sonra bir arkadaşının geçen hafta söylediği bir şey aklına geliyor. Arkadaşı da yalnızlık üzerine bir çalışma yapmış, önce anlamsız sonuç bulmuş, ama birkaç değişken ekleyip bazı kadınları dışarıda bırakınca sonuç anlamlı çıkmış ve makale kabul edilmiş. Giriş bölümünde bu ilişkinin baştan beklendiği yazıyor. Öğrenci iki makaleyi yan yana düşünüyor. Onun anlamsız sonucu çekmecede, arkadaşının anlamlı sonucu dergide. Literatürü tarayan biri, yalnızlık ile bakım arasında hangi ilişkiyi görecek?

Bu derste ne olacak

Taslaklar klasörü, çekmecedeki iki makale ve arkadaşın anlamlı çıkan sonucu kurgu. Bu kurgunun gösterdiği süreçler ise sosyal bilimlerde yayımlanmış bulguların güvenilirliği üzerine süren tartışmanın gerçek ve ölçülmüş konularıdır.

Önceki ders, bir bulgunun yeniden üretilebilirliğini, sağlamlığını ve tekrarlanabilirliğini sınamanın yollarını gösterdi ve birçok bulgunun tekrarlanamadığını anlattı. Bu ders bunun nedenlerinden üçünü inceliyor: dergilerin eşiği geçen bulgulara kapıyı daha kolay açması, araştırmacının eşik aşılana dek çözümleme tercihlerini oynatması ve veriye bakıldıktan sonra kurulan hipotezlerin baştan beklenmiş gibi yazılması. Ders bu süreçlerin nasıl işlediğini, bireysel dürüstlükten çok kurumsal teşviklerle nasıl bağlantılı olduğunu ve onlara karşı geliştirilen kurumsal çözümleri ele alıyor.

Sıfır noktası — Yayımlananın görünmeyen tarafı

Bir alanın literatürü, o alanda yapılan bütün araştırmaların değil, yalnız yayımlananların toplamıdır. Yayımlanma süreci rastgele değilse, literatür yapılan araştırmaların çarpık bir örneklemi olur. Çıkarım kursunda bir örneklemin yanlı olabileceği ve yanlı bir örneklemden yapılan çıkarımların yanıltacağı öğrenilmişti. Aynı mantık literatürün kendisine de uygulanabilir.

Psikolog Robert Rosenthal, bu olguyu çekmece sorunu adıyla anmıştır: dergilerde anlamlı sonuçlar birikirken, anlamsız sonuç bulan çalışmalar araştırmacıların çekmecelerinde kalır. Uç durumda, gerçekte hiçbir etkinin olmadığı bir soruda bile, yalnız şans eseri anlamlı çıkan çalışmaların yayımlanmasıyla tutarlı bir literatür oluşabilir.

Mekanizma — Esnek kararlar ve sonradan kurulan hipotezler

Yayın yanlılığı, çalışmaların hangisinin yayımlanacağını belirler. İkinci süreç ise tek bir çalışmanın içinde işler. Önceki derste, her çözümlemenin eksik yanıtların ele alınışından hangi gözlemlerin dışarıda kalacağına uzanan bir dizi makul karar gerektirdiği görülmüştü. Bu kararlar sonucu gördükten sonra verildiğinde, araştırmacı farkında olmadan bile anlamlı sonuca götüren yolu seçebilir.

Bu kararların sonuca bakılarak verilmesi her zaman bilinçli bir seçim değildir. İstatistikçiler Andrew Gelman ve Eric Loken, bu durumu çatallanan yollar bahçesi benzetmesiyle anlatmışlardır. Araştırmacı tek bir çözümleme yapsa bile, veriye bakarak verdiği kararlar farklı bir veride farklı olacaktı. Görünüşte tek bir sınama, aslında görünmeyen çok sayıda sınamanın biridir. Çıkarım kursunda anlatılan çoklu test sorunu, burada görünmez biçimde yeniden ortaya çıkar.

Üçüncü süreç, bulgunun raporlanma biçimiyle ilgilidir.

Kuramsal mercekler

Bu üç süreç, iki farklı düzeyde açıklanabilir. Bireysel düzeydeki açıklama, araştırmacıların dürüstlüğüne, istatistik bilgisine ve bilişsel yanlılıklarına odaklanır. Kurumsal düzeydeki açıklama ise araştırmacıları bu uygulamalara yönelten teşvik yapısını inceler: yayın sayısına dayalı işe alım ve yükselme, anlamlı ve yeni sonuçları ödüllendiren dergiler, tekrarlama çalışmalarının ve anlamsız sonuçların düşük prestiji.

Sosyolojik bir bakış, ikinci açıklamayı öne çıkarır. Bilim de bir toplumsal kurumdur ve içindeki aktörlerin davranışı, kurumun ödül ve ceza düzeniyle biçimlenir. Önceki derste anılan örgütlü kuşkuculuk normu, bu teşvik yapısı karşısında zayıflayabilir.

Bu süreçlere karşı geliştirilen çözümler de kurumsal düzeydedir. Araştırma tasarımı kursunda anlatılan ön kayıt, analiz kararlarını veri görülmeden önce sabitleyerek araştırmacı serbestliğini sınırlar. Bir adım ötesi, dergilerin makaleyi sonuçlarını görmeden kabul etmesidir.

Ölçek

Bu süreçlerin etkisi, tek bir çalışmanın ölçeğinde küçük görünebilir, ama bir alanın ölçeğinde birikir. Tek bir çalışmada birkaç esnek karar, yanlış anlamlı sonuç olasılığını biraz artırır. Yüzlerce çalışmada aynı kararlar alındığında ve yalnız anlamlı sonuçlar yayımlandığında, bir alanın bütün literatürü var olmayan ya da olduğundan çok daha büyük görünen etkilerle dolabilir. Meta-analizler de bu çarpıtılmış literatürü toplayarak, çarpıtmayı daha da güçlü bir kanıt gibi sunabilir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de akademik yükselme ölçütlerinin önemli bir kısmı yayın sayısına dayanır ve anlamsız sonuçları ya da tekrarlama çalışmalarını yayımlayan dergiler sınırlıdır. Bu yapı, uluslararası literatürde tartışılan teşviklerin Türkiye'de de işlediğini düşündürür. Uluslararası karşılaştırmada, bazı ülkelerde fon kurumları ve dergiler ön kaydı ve kayıtlı raporları teşvik etmeye başlamış, açık bilim uygulamalarını değerlendirme ölçütlerine eklemiştir. Bu uygulamaların Türkiye'deki yayılımı, dergi editörlerinin ve akademik değerlendirme kurullarının tercihlerine bağlıdır.

Bu bilgiyi nasıl biliyoruz?

Bu süreçlerin varlığı ve yaygınlığı birkaç farklı yoldan bilinir. Önceden kayıt altına alınmış çalışmaların sonraki kaderini izleyen araştırmalar yayın yanlılığını doğrudan ölçer. Canlandırma çalışmaları esnek kararların yanlış pozitif oranını nasıl artırdığını gösterir. Yayımlanmış literatürdeki p değerlerinin dağılımı ve meta-analizlerdeki asimetriler, bu süreçlerin izlerini dolaylı biçimde ortaya koyar. Araştırmacılara bu uygulamaları ne sıklıkla yaptıklarını soran anketler de sorunun yaygınlığı hakkında bilgi verir.

Yaygın hatalar

Aklında kalsın

1. Literatür yapılan bütün araştırmaların değil, yalnız yayımlananların toplamıdır.
2. Yayın yanlılığı etkileri olduğundan büyük ve tutarlı gösterir.
3. Araştırmacı serbestlik dereceleri sonuca bakılarak kullanıldığında yanlış anlamlı sonuç olasılığını artırır.
4. P değeri avcılığı çoğu zaman bilinçli hile değil, iyi niyetli seçimlerin birikimidir.
5. Sonradan kurulan hipotez veriye uyduğu için doğrulanır, ama bu bir sınama değildir.
6. Sorunların kökü büyük ölçüde teşvik yapısındadır, çözümler de kurumsal olmalıdır.
7. Ön kayıt ve kayıtlı raporlar kararları ve yayın kararını sonuçtan bağımsız kılar.

Sonraki derse köprü

Bu kursun son derslerindeki tartışmaların çoğu nicel araştırmanın araçları üzerinden yürüdü: p değerleri, çözümleme kararları, tekrarlama projeleri. Bir nitel araştırmacı bu tartışmayı okuyup kendi işinin bu sorunlardan uzak olduğunu düşünebilir. Ama nitel araştırmada da en çarpıcı alıntıları seçip ötekileri görmezden gelmek, sahadan sonra kurulan bir çerçeveyi baştan beri varmış gibi yazmak mümkündür. Belki de nicel ve nitel araştırma iki karşıt kamp değil, aynı kalite sorunlarıyla farklı biçimlerde yüzleşen iki gelenektir. Öğrencinin tezi zaten ikisini birleştirmişti: anket bakımın miktarını, görüşmeler o bakımın taşıdığı anlamı ortaya koymuştu. Nitel ve nicel ayrımını aşmanın yolları, bu iki geleneğin birbirinden ne öğrenebileceği sorusuyla başlıyor.