Yayımlanmayan çalışmalar

Bir an

Çarşamba öğle arası, Ankara. Defne şirketin mutfağında kahve beklerken iş arkadaşı Burak telefonunu uzatıyor. Ekranda binlerce kez paylaşılmış bir gönderi var: "Antidepresan araştırmalarının yarısı gizlendi! İlaç firmaları olumsuz sonuçları saklamış. Bu ilaçların hepsi bir yalan."

Burak bir yıldır bir antidepresan kullanıyor. Hekimine düzenli gidiyor, kendini eskisinden çok daha iyi hissediyor. Ama gönderi onu sarsmış: "Eğer çalışmaların yarısı saklandıysa, belki benim ilacım da hiçbir işe yaramıyor. Belki iyileşmem kendiliğinden oldu. Bırakmayı düşünüyorum."

Defne bir şey söylemeden önce gönderinin altındaki bağlantıyı açıyor ve bir tıp dergisindeki gerçek bir makaleye ulaşıyor. Makalenin başlığı gerçekten de çalışmaların seçici yayımlanmasından söz ediyor. Defne iki şeyi birden düşünüyor: Gönderi bir doğrunun üzerine kurulmuş görünüyor; ama "hepsi yalan" sonucu o doğrudan çıkıyor mu?

Soru

Bazı çalışmaların hiç yayımlanmaması ya da sonuçlarının seçilerek aktarılması, bir tedavinin etkisini nasıl olduğundan büyük gösterir ve bu bilgiyi doğru okumak, "hepsi yalan" sonucuna atlamaktan nasıl farklıdır?

Nasıl işler

Bir sistematik derlemenin ve bir meta-analizin gücünü önceki modülde gördük: bir konudaki bütün çalışmaları bir araya getirmek. Ama bu yöntemin gizli bir varsayımı var: bütün çalışmaların görülebilir olması. Bir çalışma yapılmış ama yayımlanmamışsa, derleme onu bulamaz. Ve yayımlanmayan çalışmalar rastgele seçilmiş değildir.

Bunun birkaç nedeni olabilir. Araştırmacılar olumsuz bir sonucu yazmaya değer bulmayabilir; dergiler çarpıcı olmayan sonuçları daha az kabul edebilir; bir ürünün sahibi olan firma, ürününü kötü gösteren bir sonucu duyurmakta isteksiz olabilir. Hangi neden ağır basarsa bassın, sonuç aynıdır: okurun gördüğü kanıt, yapılan bütün araştırmanın iyimser bir dilimidir.

Yanlılığın daha sinsi bir biçimi de vardır: çalışma yayımlanır, ama sonuçları seçilerek aktarılır.

Bu sorunlara karşı geliştirilen en önemli çözüm, bir denemenin daha başlamadan kamuya açık bir kayda geçirilmesidir.

Peki bütün çalışmaları göremiyorsak, eksik olanları nasıl fark ederiz? Meta-analiz yapanların kullandığı bir yol, çalışmaları büyüklüklerine göre dizip bulgularının nasıl dağıldığına bakmaktır. Küçük çalışmalar şansa daha açıktır; bir kısmı etkiyi büyük, bir kısmı küçük ya da ters bulur. Hepsi yayımlansaydı, küçük çalışmaların sonuçları büyük çalışmaların bulduğu değerin iki yanına simetrik biçimde saçılırdı. Eğer küçük çalışmalardan yalnız etkiyi büyük bulanlar görünüyor, etkiyi küçük ya da ters bulanların yeri boş kalıyorsa, o boşluk çekmecede kalan çalışmaları düşündürür. Bu yöntem kesin bir kanıt değildir; asimetrinin başka nedenleri de olabilir, örneğin küçük çalışmaların daha özenli seçilmiş, daha ağır hastalarla yapılmış olması. Ama derleme okurken yazarların bu soruyu sorup sormadığına bakmak işe yarar.

Asıl güçlü yol ise boşluğu tahmin etmek yerine doğrudan görmektir: yapılmış bütün denemelerin bir listesine ve tam verisine ulaşmak. Düzenleyici kurumların ilaç onayı için istediği belgeler, yıllarca bu listenin neredeyse tek kaynağı oldu. Turner'ın çalışmasını mümkün kılan da buydu.

Ama yayın yanlılığının varlığı, bir tedavinin işe yaramadığı anlamına gelmez. Yanlılık etkiyi büyütür; etkiyi yoktan var etmez. Asıl soru, bütün çalışmalar görüldüğünde geriye ne kadar etki kaldığıdır.

Kanıt

On dört yıl sonra aynı araştırmacı daha yeni ilaçlar için aynı karşılaştırmayı yaptı.

Yaygın yanılgılar

Sayılarla

Turner ve arkadaşlarının 2008 çalışmasında FDA'ya kayıtlı 74 deneme ve 12.564 hasta vardı. Bu denemelerin yüzde 31'i, yani 3.449 katılımcıyı kapsayan denemeler, hiç yayımlanmamıştı. FDA'nın olumlu saydığı 38 denemenin 37'si yayımlanmıştı. Olumsuz ya da şüpheli sayılan denemelerin ise 22'si hiç yayımlanmamış, 11'i olumlu bir sonuç izlenimi verecek biçimde yayımlanmıştı; yalnız 3'ü olduğu gibi aktarılmıştı. Sonuçta yayımlanmış literatüre bakan biri denemelerin yüzde 94'ünü olumlu görüyordu; FDA'nın tam verisinde bu oran yüzde 51'di. Etki büyüklüğü yayımlanmış literatürde, bütün veriye göre ortalama yüzde 32 daha büyük görünüyordu.

2022 çalışmasında 30 deneme ve 13.747 hasta vardı. Olumlu denemelerin 15'inin 15'i şeffaf biçimde yayımlanmıştı; olumsuz denemelerde bu oran 15'te 7'ydi. Olumsuz denemelerin şeffaf raporlanma oranı eski ilaçlardaki yüzde 11'den yeni ilaçlarda yüzde 47'ye yükseldi. Tablo düzeliyordu, ama olumsuz denemelerin yarıdan fazlası hâlâ tam olarak görünmüyordu.

Herkes için aynı mı?

Yayın yanlılığı her alanda aynı ölçüde değildir. Düzenleyici kurumların bütün denemeleri incelediği ilaç onaylarında kayıp veriyi bulmak mümkündür; ama takviyeler, cihazlar, cerrahi işlemler ya da yaşam tarzı programları gibi bu denetimin zayıf olduğu alanlarda yayımlanmayan çalışmaları bulmak çok daha zordur. Çocuklar, gebeler ve yaşlılar gibi zaten az çalışılan gruplarda, yayımlanmayan birkaç çalışma bile tabloyu belirgin biçimde değiştirebilir. Ülkeler arasında da fark vardır: deneme kaydının zorunlu olduğu ve denetlendiği yerlerde şeffaflık daha yüksektir. Bir konuda okuduğun kanıtın ne kadarının görünür olduğunu, o alanın denetimine bakarak tahmin edebilirsin.

Ne zaman hekime?

Bir gönderi seni ne kadar sarsarsa sarssın, düzenli kullandığın bir antidepresanı ya da başka bir ilacı hekimine sormadan kesme. Antidepresanların aniden kesilmesi yoksunluk belirtilerine ve hastalığın geri dönmesine yol açabilir; ilacın azaltılması ya da bırakılması hekimle birlikte, planlı biçimde yapılır. İlacın etkisinden ya da kanıtından şüphe ediyorsan, bunu hekiminle açıkça konuş; okuduğun gönderiyi de götürebilirsin. Ruh hâlinde ani bir kötüleşme, uykunun ya da iştahın belirgin biçimde değişmesi ya da kendine zarar verme düşünceleri olursa beklemeden hekimine ya da bir sağlık kuruluşuna başvur. Kendine zarar verme tehlikesi o anda varsa 112'yi ara ve yalnız kalma.

Kendi hayatında

Bir tedavi hakkında okuduğun kanıtın ne kadarının görünür olduğunu sınamanın basit bir yolu var: denemenin kaydına bakmak. Bu hafta bunu bir kez deneyeceksin.

Kapanış

1. Olumlu sonuçlu çalışmalar daha sık yayımlanır, olumsuzlar çekmecede kalır; bu yüzden yayımlanmış literatür gerçek tablodan daha iyimser görünebilir.
2. Antidepresan denemelerinde yayımlanmış makalelere göre denemelerin yüzde 94'ü, düzenleyici kurumun tam verisine göre yüzde 51'i olumluydu; yanlılık etkiyi büyüttü ama yoktan var etmedi.
3. Deneme kaydı ve tam verinin açılması bu yanlılığı azaltıyor; yeni ilaçlarda şeffaflık arttı, ama sorun tamamen çözülmedi.

Beş soru

1. Bir konuda yayımlanmış on çalışmanın dokuzu olumlu. Bu, tedavinin işe yaradığının güçlü bir kanıtı mıdır?
2. Turner'ın 2008 çalışmasında yayımlanmış literatüre göre ve FDA verisine göre olumlu denemelerin oranı neydi?
3. Seçici raporlama ile yayın yanlılığı arasındaki fark nedir?
4. Burak'ın okuduğu gönderi bir doğruya dayanıyor. Gönderinin vardığı sonuçta yanlış olan nedir?
5. Deneme kaydı, yayın yanlılığını fark etmeye nasıl yardım eder?

Yanıtlar

Tek başına değil. Olumsuz sonuçlu çalışmaların yayımlanmamış olma ihtimali vardır. Bu soruyu cevaplamak için deneme kayıtlarına bakmak ve kaç çalışmanın yapılıp kaçının yayımlandığını bilmek gerekir.

Yayımlanmış literatüre göre yüzde 94, FDA'nın tam verisine göre yüzde 51. Aradaki fark, olumsuz denemelerin yayımlanmamasından ya da olumlu gibi aktarılmasından kaynaklanıyordu.

Yayın yanlılığında bir çalışmanın tamamı, sonucuna bağlı olarak yayımlanmaz. Seçici raporlamada çalışma yayımlanır, ama sonuçlardan olumlu olanlar öne çıkarılır, olumsuz olanlar gizlenir ya da arka plana itilir.

Gönderi, yanlılığın etkiyi büyüttüğü doğrusundan ilacın hiç işe yaramadığı sonucuna atlıyor. Bütün veriyle hesaplanan etki de ilacın lehineydi; yalnızca yayımlanmış makalelerin gösterdiğinden küçüktü. Ayrıca ilacı hekime danışmadan bırakmak tehlikelidir.

Deneme kaydı, bir denemenin başlamadan önce ne ölçeceğini ve kaç kişiyle yapılacağını kamuya açar. Böylece yapılmış ama yayımlanmamış bir deneme ya da ana sonucu sonradan değiştirilmiş bir makale fark edilebilir.

Sonraki derse köprü

Yayın yanlılığı hangi çalışmaların bize ulaştığını çarpıtıyordu. Bir de tek bir çalışmanın içinden çarpıtma var: verileri farklı biçimlerde analiz edip "anlamlı" bir sonuç çıkana kadar denemek. Sıradaki derste tekrarlanabilirlik krizini, yani pek çok yayımlanmış bulgunun yeniden yapılınca neden tutmadığını konuşacağız.