Yayın yanlılığı

Açılış sahnesi

Pazartesi sabahı bir çocuk hastanesinin kanıt değerlendirme biriminde uzman hemşire Şebnem Hanım, geceleri altını ıslatan beş yaş üstü çocukların aileleri için bir bilgilendirme kâğıdı hazırlıyor. Konu, çocuk ıslandığı anda çalarak onu uyandıran küçük bir nem alarmı. Masasında bu alarmı inceleyen yedi çalışmanın meta-analizi var: yayımlanmış yedi çalışma, 794 çocuk, tedavi sonunda art arda on dört kuru gece için birleştirilmiş risk oranı 1,78. Sentez düzgün yapılmış görünüyor; soru açık, yanlılık tablosu dolu, model önceden yazılmış.

Şebnem Hanım kâğıdı yazmadan önce bir iş daha yapıyor ve klinik çalışma kayıt defterinde aynı soruyu arıyor. Kayıtta tamamlanmış görünen on bir çalışma çıkıyor. Yedisi meta-analizde var; dördünün ise hiçbir yayını yok, toplam 330 çocuk. Kayıp dört çalışmanın yazarlarına yazıyor ve üç hafta içinde dördünün de sonuç tablosu geliyor. Bu ders, o dört tablonun sentezi nasıl değiştirdiğini ve bir okurun elinde kayıt defteri yokken aynı şüpheyi nasıl taşıyabileceğini anlatıyor.

Bu derste ne olacak

Önce yayın yanlılığının dört ayrı mekanizmasını ve Şebnem Hanım'ın bulduğu dört çalışmanın bunlardan hangisine girdiğini göreceğiz. Sonra kayıp çalışmalar eklendiğinde birleştirilmiş tahminin ne kadar değiştiğini hesaplayacağız. Ardından elinde kayıt defteri olmayan bir okurun kullandığı dolaylı saptama yollarına, özellikle huni grafiğine ve onun neden bir kanıt değil bir uyarı olduğuna geçeceğiz. Son bölümde sentezin ve sistemin yapabileceklerini konuşacağız.

Sıfır noktası

Bilimin kendini düzeltmesini işleyen derste bu sorunu tek cümleyle söylemiştin: sentez, literatür taraflıysa o taraflılığı daha yüksek görünen bir kanıt düzeyinde yeniden üretir ve derleme girdisinden iyi olamaz. Tekrarlanabilirlik dersinde de yayın yanlılığını, bulguların tekrarlanamamasının birinci nedeni olarak görmüştün. Burada etkinin sentez üzerindeki yönünü görüyoruz ve bu yön tektir: birleştirilmiş tahmin olduğundan büyük çıkar.

Şebnem Hanım'ın kayıt defteri bunu sayıyla gösteriyor. On bir çalışmanın altısı istatistiksel olarak anlamlı bir yarar bulmuş ve altısı da yayımlanmış: 6 ÷ 6 = 1,00. Anlamlı bir fark bulamayan beş çalışmanın ise yalnız biri yayımlanmış: 1 ÷ 5 = 0,20. Yayımlanma olasılığı sonucun yönüne göre beş kat değişiyor ve meta-analiz, yapılmış çalışmaların değil yayımlanmış olanların ortalamasını alıyor.

Mekanizma

Dört ayrı mekanizma

"Yayın yanlılığı" tek bir şeyin adı değildir; dört ayrı süreç aynı yöne çalışır. Birincisi yayımlamamadır: olumsuz sonuçlu çalışma hiç yazılmaz ya da yazılıp gönderilmez ve kararı çoğunlukla dergi değil araştırmacı verir, çünkü sonuç ilgi çekici görünmez. Şebnem Hanım'ın dört kayıp çalışmasından üçü bu türden; yazarlardan biri e-postasında "fark çıkmayınca yazmaya değer bulmadık" diyor.

İkincisi gecikmeli yayındır. Olumsuz sonuçlu çalışmalar da yayımlanabilir ama daha geç ve sentez belirli bir tarihte aramayı kapattığında o gecikmiş çalışmalar dışarıda kalır. Dördüncü kayıp çalışma bu türden: sonucu hazır, ama iki yıldır bir dergiden ötekine gidip geliyor.

Üçüncüsü seçici sonlanım bildirimidir: çalışma yayımlanır ama içindeki olumsuz sonlanımlar bildirilmez. Protokol ve kayıt dersinde gördüğün kayıt–yayın uyuşmazlığının sentezdeki karşılığı budur ve çalışma bulunsa bile verinin eksik gelmesi demektir (L01-P02-M03-D09). Dördüncüsü çoklu yayındır: olumlu sonuçlar birden çok kez yayımlanır. Arama ve çalışma seçimi dersinde ayıklamayı gördüğün yinelenen yayın buraya girer; ayıklanmazsa aynı olumlu veri iki kez sayılır. Dördüncü mekanizma öğreticidir, çünkü yayın yanlılığının yalnız eksiklikle değil fazlalıkla da çalıştığını gösterir.

Kayıp çalışmalar eklenince

Şebnem Hanım dört tabloyu sentezin yöntemiyle birleştiriyor. Yayımlanmış yedi çalışmayla risk oranı 1,78 (%95 güven aralığı 1,47 – 2,17) idi; on bir çalışmanın hepsiyle 1,59 (1,34 – 1,88) çıkıyor. Kayıp çalışmalar katılımcıların 330 ÷ (794 + 330) ≈ 0,29'unu, yani yaklaşık üçte birini oluşturuyordu ve dördünün risk oranı 1,11 ile 1,18 arasındaydı.

Etki kaybolmadı, ama küçüldü ve bu fark bilgilendirme kâğıdındaki cümleyi değiştiriyor. Alarmsız izlenen çocukların dörtte birinin bu sürede kendiliğinden kuru gecelere ulaştığını varsayalım. Yayımlanmış sentezle beklenen oran 0,25 × 1,78 ≈ 0,45, bütün çalışmalarla 0,25 × 1,59 ≈ 0,40 olur. Yüz çocukta alarmın kazandırdığı fark yirmi çocuktan on beşe iniyor; sentezin kendisi kusursuz yapılmıştı, eksik olan girdiydi.

Nasıl saptanmaya çalışılıyor

Şebnem Hanım'ın elinde kayıt defteri vardı. Çoğu okurun elinde yoktur ve saptama yollarının hepsi dolaylıdır, çünkü eksik olan şey eldeki verinin içinde değildir. En bilinen yol huni grafiğidir: her çalışmanın etki tahmini kesinliğine karşı çizilir ve yayın yanlılığı yoksa şekil simetrik bir huniye benzer, kesin çalışmalar tepede dar, belirsizler altta geniş dağılır. İkinci yol bu asimetriyi niceleyen istatistiksel sınamalardır; az sayıda çalışmada güçsüzdürler.

Üçüncü yol, simetriyi sağlamak için kaç çalışmanın eksik olabileceğini tahmin edip eklendiğinde birleştirilmiş sonucun nasıl değişeceğini hesaplamaktır; bu bir tahmindir, kanıt değil. Dördüncü ve en doğrudan yol Şebnem Hanım'ın yaptığıdır: kayıt defterlerinde tamamlanmış görünen ama yayımlanmamış çalışmaları aramak. Yayımlanmış yedi çalışmanın huni grafiği çizilseydi asimetri görünürdü. Dört küçük çalışmanın risk oranları 2,25 ile 3,0 arasında, iki büyük çalışmanınki 1,67 ile 1,80 arasında duruyor ve huninin küçük çalışmalara ayrılmış alt köşesinin bir yarısı boş.

Terimin son cümlesi dersin en önemli düzeltmesi. Şebnem Hanım'ın tablosunda boş köşeyi dolduran çalışmalar kayıt defterinden bulundu ve nedenin en azından bir bölümü doğrudan görülüyor; ama heterojenlik dersindeki baş dönmesi tablosunda aynı görüntünün en somut açıklaması yöntemsel kalite farkıydı. Görüntü aynı olabilir, neden başka olabilir.

Bir sınır daha var ve Şebnem Hanım'ın yedi çalışmalık sentezi tam bu sınırın üzerinde duruyor. Asimetri sınamaları az sayıda çalışmayla güvenilir sonuç vermez, bu yüzden yedi çalışmalık bir sentezde "sınama anlamlı çıkmadı" cümlesi neredeyse hiçbir şey söylemez.

Ne yapılabilir

Sentez düzeyinde üç yol vardır ve hepsi kısmidir. İlki aramayı genişletmektir: arama ve çalışma seçimi dersinde gördüğün kayıt defterleri, gri literatür ve yazarlarla iletişim. Şebnem Hanım'ın yaptığı buydu ve en etkili ama en emek isteyen yoldur. İkincisi yalnız önceden kayıtlı çalışmalarla bir duyarlılık analizi yapmaktır; kayıt zorunluluğundan sonra yürütülen çalışmalarla tekrarlanan sentez, yayın yanlılığından görece arınmış bir tahmin verir. Üçüncüsü kanıt kesinliğini düşürmektir, çünkü yanlılık riski dersinde gördüğün beş etkenden biri yayın yanlılığıydı.

Sistem düzeyinde ise çözüm sentezin elinde değildir: çalışmaların kaydının zorunlu olması, sonuçların kayda bildirilmesi ve olumsuz sonuçların yayımlanabilmesi gerekir. Bilimin kendini düzeltmesini işleyen dersteki altı basamaklı zincirde bu, birinci basamağın, yani yayının onarımıdır. Zincirin ilk halkası eğriyse beşinci halka olan sentez, eğriliği ancak daha düzenli görünen bir sayıya çevirebilir.

Bu akademideki karşılığı

Yayın yanlılığı kanıt rozetlerini doğrudan etkiler. Bir iddianın A rozeti alabilmesi için kanıt gövdesinin tutarlı ve tekrarlanmış olması gerekir. Yayın yanlılığı şüphesi olan bir gövde, ne kadar olumlu görünürse görünsün bu ölçütü karşılamaz, çünkü tutarlılık eksik olanın görünmemesinden kaynaklanıyor olabilir. Şebnem Hanım'ın yedi çalışması "hepsi aynı yönde" görünüyordu; aynı yönü göstermeyenler zaten masada değildi.

Dikkat edilmesi gereken bir asimetri daha var: zarar tarafında yayın yanlılığı ters yönde çalışır. Zarar bildirimleri de eksik yayımlanabilir ve bu durumda bir müdahale olduğundan güvenli görünür. Vaka raporu dersinde zarar sinyallerinde eşiğin neden daha düşük tutulduğunu görmüştün (L01-P02-M01-D01). Nedenlerden biri burada: yarar tarafında literatür abartmaya, zarar tarafında susmaya eğilimlidir.

Klinik gerçeklik

Bir sentezde yayın yanlılığını değerlendirirken önce aramanın kayıt defterlerini ve gri literatürü kapsayıp kapsamadığına bak; kapsamıyorsa masada yalnız yayımlanmış olanlar vardır. Sonra huni grafiğinin ya da bir asimetri sınamasının bildirilip bildirilmediğini ara ve hemen ardından çalışma sayısını say. Az sayıda çalışma varsa bu değerlendirme yapılamaz ve "yayın yanlılığı saptanmadı" cümlesi bilgi taşımaz.

Asimetri bildirilmişse yazarların alternatif açıklamaları tartışıp tartışmadığına bak: yöntem kalitesi, seçilmiş nüfuslar, gerçek heterojenlik ve şans. Son olarak kanıt kesinliğinin bu şüphe nedeniyle düşürülüp düşürülmediğini kontrol et. Kendi alanında merak ettiğin bir soru varsa, bir kayıt defterinde aynı soruyu aramak çoğu zaman on dakika sürer ve Şebnem Hanım'ın bulduğu türden bir boşluğu gösterebilir.

Kendini sına

1. Sentezin dayandığı temel varsayım nedir? Şebnem Hanım'ın kayıt defteri bu varsayımı nasıl sınadı?
2. Yayın yanlılığının dört mekanizmasını say. Hangisi fazlalıkla çalışıyor?
3. Zaman gecikmesi yanlılığı nedir? Hangi tarih karşılaştırması bunu görünür kılar?
4. Anlamlı ve anlamsız çalışmaların yayımlanma oranlarını hesapla. Kayıp çalışmalar eklenince yüz çocukta beklenen fark nasıl değişti?
5. Dört saptama yolunu say. Hangisi en doğrudan?
6. Huni grafiği asimetrisinin dört alternatif açıklamasını yaz.
7. Az çalışma sorunu nedir? "Değerlendirilemedi" ile "yok" neden ayrı?
8. Sentez düzeyinde üç çözüm yolunu say. Zarar tarafında yayın yanlılığı neden ters yönde çalışıyor?

Bir sonraki derse köprü

Şebnem Hanım'ın bilgilendirme kâğıdı bir soruyu cevaplıyor: alarm, hiçbir şey yapmamaya göre ne kazandırır? Ailelerin masaya getirdiği soru ise çoğu zaman başka: alarm mı, bir ilaç mı, akşam sıvı kısıtlaması gibi bir davranış düzenlemesi mi? Bu seçeneklerin her biri ayrı ayrı bekleme ya da sahte bir karşılaştırıcıyla sınanmış olabilir ve birbirleriyle hiç yan yana konmamış olabilir. Sıradaki derste ortak bir karşılaştırıcı üzerinden hiç yapılmamış bir karşılaştırmanın nasıl tahmin edildiğini, doğrudan ve dolaylı kanıtın nasıl birleştirildiğini ve bütün hesabın dayandığı tek varsayımı, geçişliliği göreceksin.