Yayın yanlılığı

Açılış sahnesi

Bir üniversitenin fizyoterapi bölümünde iki yıl önce küçük bir çalışma yapılmış: altı haftalık bir yoga programının diz ağrısı olan yaşlılarda merdiven çıkma süresine etkisi. Program iyi planlanmış, katılımcılar derslere düzenli gelmiş, ölçümler özenle alınmış. Sonuç: iki grup arasında anlamlı bir fark yok.

Çalışmayı yürüten araştırmacı sonuçları bir kongrede kısa bir bildiri olarak sunmuş, sonra tam makaleyi yazmayı hep ertelemiş. Yeni bir proje başlamış, öğrencisi mezun olmuş, "zaten bir şey çıkmadı" diye düşünmüş. Veri dosyası bir klasörde duruyor.

Aynı yıl, başka bir ülkede benzer bir programı sınayan, daha küçük bir çalışma belirgin bir iyileşme bulmuş ve iyi bilinen bir dergide yayımlanmış. Üç yıl sonra bir derleme yazarı yayımlanmış çalışmaları taradığında bunu buluyor; klasördeki dosyayı ise bulamıyor. Derlemenin sonucu, bulunan çalışmalardan kuruluyor.

Bu derste ne olacak

Bu derste bir çalışmanın yayımlanıp yayımlanmamasının onun sonucuna bağlı olmasını ele alıyoruz. Önce yayın yanlılığının ne olduğunu, kavramın ilk ne zaman adlandırıldığını ve bunun derlemeleri nasıl etkilediğini göreceğiz. Sonra yanlılığın biçimlerine bakacağız: yayımlanmayan, geç yayımlanan, iki kez yayımlanan, az atıf alan sonuçlar. Ardından bir okurun görmediği çalışmaların varlığını nasıl sezebileceğine, huni grafiğine ve kayıt sistemlerine geçeceğiz. En sonda bir literatürün hangi dillerde ve hangi yerlerde yazıldığının onun neyi gösterdiğini nasıl biçimlendirdiğine bakacağız; ten tonu burada, bir derlemenin kimin yürüttüğü ve kimin katıldığı çalışmaları görebildiğini soracak.

Sıfır noktası

Y5.71'de sistematik derlemeyi ve gri literatürü, Y5.72'de meta-analizi gördük; bir derlemenin ancak bulabildiği çalışmalar kadar iyi olduğunu söyledik. Y5.73'te klinik çalışma kaydının ve kayıtlı raporun neden ortaya çıktığını gördük; küçük çalışmaların anlamlı çıktığında etkiyi büyütme eğilimi ise Y5.76'nın konusuydu.

Bu ders bu parçaları tek bir soruda topluyor. Bir öğretmen literatürü okurken yalnızca yayımlanmış olanı görür. Eğer yayımlanma kararı sonucun yönüne bağlıysa, görülen literatür yapılan araştırmanın temsili bir örneği değildir; ve bu sapma, tek tek iyi yapılmış çalışmalarla bile oluşabilir.

Mekanizma

Çekmecede kalan sonuç

Yayın yanlılığı maddesi, bu yanlılığı bir deneyin ya da çalışmanın sonucunun onu yayımlama ya da dağıtma kararını etkilemesi olarak tanımlıyor. Madde, uygulama ve tasarım niteliği benzer olduğunda istatistiksel olarak anlamlı sonuç bulan makalelerin, sonuç bulamayanlara göre yayımlanma olasılığının üç kat olduğunu aktarıyor. Konunun ilk kez bin dokuz yüz elli dokuzda istatistikçi Theodore Sterling tarafından, "başarılı" araştırmanın yayımlanma olasılığının daha yüksek olduğu alanlar için tartışıldığını; Sterling'in böyle bir alanın literatürünün önemli ölçüde, anlamlılık testlerindeki birinci tür hatalardan kaynaklanan yanlış sonuçlardan oluşabileceğini yazdığını ekliyor. Y5.76'da birinci tür hatayı, gerçekte olmayan bir etkiyi varmış gibi bulmak olarak tanımlamıştık.

Madde, bu etkinin bir adını da aktarıyor: çekmece sorunu. Olumsuz sonuçların, araştırmacıların ilk hipotezlerini desteklemeyen bulguların, çoğu zaman "dosyalanıp" araştırmacının çekmecesinden öteye gitmediğini anlatan bu terimi psikolog Robert Rosenthal bin dokuz yüz yetmiş dokuzda ortaya atmış. Raporlama yanlılığı maddesi, nedenin çoğunlukla dergilerin reddi olmadığını vurguluyor: yayımlanmamanın neredeyse tamamı araştırmacının makaleyi göndermemesinden kaynaklanıyor ve araştırmacılar bunun nedenini genellikle sonuçlarla "ilgilenmemeleri" olarak açıklıyor.

Yayımlanmanın biçimleri

Raporlama yanlılığı maddesi, bir sonucun yönünün yalnızca yayımlanıp yayımlanmamasını değil, nasıl yayımlandığını da etkilediğini gösteriyor ve birkaç biçimi ayrı ayrı adlandırıyor. Olumlu sonuç bulan denemelerin, sonuç bulamayan ya da olumsuz sonuç bulanlara göre yaklaşık bir yıl daha erken yayımlandığını bulan bir derlemeyi aktarıyor. Olumlu sonuçların daha sık iki kez yayımlandığını, bunun bir tedavinin etkisinin olduğundan büyük tahmin edilmesine yol açabileceğini yazıyor. Anlamlı sonuçların ortalamada daha yüksek etki faktörlü, daha kolay erişilen dergilerde yayımlandığını ve yazarların olumlu sonuçlara olumsuz ya da sonuçsuz olanlardan daha çok atıf yaptığını da ekliyor.

Görünmeyeni sezmek

Yayın yanlılığı maddesi, yanlılığın bulunduğu durumda yayımlanmış çalışmaların eldeki kanıtın temsili bir örneği olmaktan çıktığını ve bunun meta-analizlerin ve sistematik derlemelerin sonuçlarını bozduğunu yazıyor. Madde, derlemelerin yayımlanmamış çalışmaları ve gri literatürü dahil ederek bu yanlılığı hesaba katabileceğini, yanlılığın varlığının ise bir huni grafiğiyle araştırılabileceğini ekliyor.

Huni grafiği maddesi, bu grafiği bir tedavi etkisinin çalışmanın kesinliğinin bir ölçüsüne karşı çizildiği bir saçılım grafiği olarak tanımlıyor ve grafiğin bin dokuz yüz seksen dörtte Light ve Pillemer tarafından ortaya konduğunu aktarıyor. Yayın yanlılığı yoksa kesinliği yüksek büyük çalışmalar ortalamanın yakınında, kesinliği düşük küçük çalışmalar ise ortalamanın iki yanına eşit biçimde yayılır ve kabaca ters bir huni biçimi oluşur. Küçük çalışmalar ağırlıklı olarak tek bir yönde, genellikle büyük etki yönünde toplanıyorsa grafik asimetrikleşir; bu, yayın yanlılığının bir işareti olabilir. Madde, asimetrinin başka nedenleri de olabileceğini, kesinliği yüksek ve düşük çalışmalar arasındaki sistematik farkların ya da uygunsuz bir etki ölçüsünün de benzer bir görüntü üretebileceğini ekliyor.

Hangi dilde, hangi yerde

Raporlama yanlılığı maddesi, dil yanlılığını da ayrı bir biçim olarak anlatıyor: araştırmacıların olumsuz bulgularını İngilizce dışındaki dillerdeki dergilerde yayımlayıp olumlu bulgularını İngilizce dergilere ayırıp ayırmadığı uzun süredir sorulan bir soru. Madde, bazı araştırmaların derlemelerdeki dil kısıtlamalarının derlemenin sonucunu değiştirebildiğini gösterdiğini, bazı başka çalışmaların ise böyle bir yanlılık bulmadığını dengeli biçimde aktarıyor. Yayın yanlılığı maddesi de yere bağlı bir örüntü aktarıyor: akupunktur tedavisini inceleyen yayımlanmış sonuçların bir derlemesi, bin dokuz yüz doksan sekiz itibarıyla Çin'de ya da Rusya'da ve Sovyetler Birliği'nde yayımlanan hiçbir denemenin sınanan tedaviyi etkisiz bulmadığını saptamış.

Ten tonu burada, bir derlemenin kimin yürüttüğü ve kimin katıldığı çalışmaları görebildiğini sorar. Yalnızca İngilizce yayınları tarayan bir yoga derlemesi, başka dillerde yayımlanan çalışmaları ve onların katılımcılarını dışarıda bırakır; bu katılımcılar, İngilizce literatürde az temsil edilen topluluklardan, tenlerden ve bedenlerden gelebilir. Öte yandan yere bağlı örüntüler bir yönde de sapabilir: bir ülkenin ya da dilin literatürü, olumlu sonuçlara ağırlık veren kendi yayın alışkanlıklarını taşıyabilir. Dolayısıyla soru yalnızca "hangi diller tarandı?" değil, aynı zamanda "farklı dillerden ve yerlerden gelen çalışmalar aynı sonucu mu veriyor?" sorusudur.

Örneklerden okuma

Usta katmanı

Yayımlanmış literatür, yapılmış araştırmanın kendiliğinden bir aynası değildir. Sonucu olumlu olan çalışmalar daha sık, daha hızlı, daha görünür dergilerde, bazen iki kez yayımlanır ve daha çok atıf alır; sonuçsuz olanlar çoğu zaman bir çekmecede kalır. Tek tek iyi yapılmış çalışmalar bile, bu süzgeçten geçtikten sonra birlikte yanıltıcı bir tablo çizebilir.

Usta öğretmen, bir derlemenin neyi taradığını sorar: yalnızca yayımlanmış makaleleri mi, kayıtları, kongre bildirilerini ve başka dillerdeki dergileri de mi? Bir huni grafiğinin boş köşesine bakar, ama asimetrinin başka nedenleri olabileceğini de bilir. Bir konudaki ilk ve en çok atıf alan bulgulara, zamanla küçülebilecekleri bilgisiyle yaklaşır.

Usta öğretmen, çekmece sorununun kendi salonunda da işlediğini bilir. İşe yaramayan bir programı, bir öğrencisinde görmediği bir etkiyi de not eder ve paylaşır. Bir derlemenin hangi dillerde ve yerlerde yazılmış çalışmaları görebildiğini, dolayısıyla hangi katılımcıların deneyimini içerdiğini sorar.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

Yayın yanlılığında bir çalışmanın yayımlanması, niteliğinden çok sonucunun yönüne bağlıdır.

Sonuçsuz çalışmalar çoğu zaman reddedildikleri için değil, hiç gönderilmedikleri için çekmecede kalır.

Olumlu sonuçlar daha hızlı, daha görünür, bazen iki kez yayımlanır ve daha çok atıf alır; bu yüzden ilk ve en çok anılan bulgular zamanla küçülebilir.

Huni grafiği görünmeyen çalışmaları sezdirir, ama asimetri tek başına bir kanıt değildir; kayıtlar ve gri literatür boşluğu doldurmaya yardım eder.

Bir derlemenin taradığı diller ve yerler, hangi katılımcıların deneyimini görebildiğini belirler.

Sonraki derse köprü

Bu derste araştırma okuryazarlığının son aracını gördük: yayımlanmış literatürün kendisinin süzülmüş olabileceğini. Artık bir çalışmanın tasarımını, niteliğini, sonucunu ve görünmeyen yanını okuyabiliyoruz.

Sıradaki birim bu araçları tek tek sağlık iddialarına uyguluyor ve bir kanıt haritası çiziyor. İlk durak, yoga hakkında en sık duyulan iddiaların alanı: genel iyilik hâli ve stres.

Soru şu: "yoga stresi azaltır" ya da "yoga iyi hissettirir" gibi bir iddia hangi sonuçlarla ölçülmüş, bu sonuçlar ne kadar sağlam, ve bir öğretmen öğrencisine bu konuda neyi güvenle, neyi temkinle söyleyebilir?