Tekrarlanabilirlik krizi

Bir an

Cumartesi kahvaltısı, Karaca evi. Rıza gazetenin sağlık sayfasını katlayıp masaya bırakıyor: "Bak, yeni araştırma. Günde birkaç fincan kahve içenlerde kalp hastalığı daha az görülüyormuş." Sevgül gülüyor: "Geçen ay da kahvenin çarpıntı yaptığını, kalbi yorduğunu okumuştun. Hangisine inanacağız?"

Masanın öbür ucunda Yasemin çayını karıştırıyor. İş yerinde müşteri verisiyle uğraşıyor; geçen hafta başına gelen bir şeyi anlatıyor. Müdürü, yeni bir kredi kartı kampanyasının işe yarayıp yaramadığını sormuş. Yasemin müşterileri yaşa, şehre, gelire, cinsiyete, kart türüne göre yirmi ayrı gruba bölüp her grupta kampanyanın etkisini sınamış. On dokuz grupta hiçbir fark çıkmamış. Yalnız bir grupta, otuz beş ile kırk yaş arasındaki İzmirli müşterilerde, "anlamlı" bir artış görünmüş. Müdürü sevinmiş ve bu sonucu yönetime sunmak istemiş.

"Ben de ona dedim ki," diyor Yasemin, "yirmi kere zar atarsan bir kere altı gelmesi mucize değil. O bulgu büyük ihtimalle şans. Kampanyayı İzmir'de tekrar denemeden kimseye söylemeyelim."

Rıza gazeteye bir daha bakıyor: "Peki bu kahve araştırması da senin İzmirlilerin gibi mi?"

Soru

Yayımlanmış ve "anlamlı" bulunmuş bir sağlık bulgusu, aynı soru yeniden araştırıldığında neden sık sık tutmaz ve bir bulgunun tekrarlanabilir olup olmadığına dair hangi işaretlere bakabiliriz?

Nasıl işler

M02'de p değerini ve istatistiksel anlamlılığı gördük: tedavinin hiçbir etkisi yokken, yalnızca şans yüzünden en az bu kadar büyük bir fark görme olasılığı. Bu olasılık yüzde 5'in altındaysa sonuca genellikle "anlamlı" denir. Bu eşiğin kendisi bir uyarı içerir: etkisi olmayan bir şeyi sınadığında da, yaklaşık her yirmi denemeden birinde şans "anlamlı" bir sonuç üretir.

Tek bir soru, tek bir sınama yapıldığında bu kabul edilebilir bir hata payıdır. Sorun, aynı veri setinde çok sayıda soru sorulduğunda başlar.

Yasemin'in yirmi grubu tam olarak buydu. Kampanyanın hiçbir grupta gerçek bir etkisi olmasa bile, yirmi bağımsız sınamadan en az birinin anlamlı çıkma olasılığı yarıdan fazladır. İzmirli müşteriler bir keşif değil, beklenen bir şans sonucuydu.

Çoklu karşılaştırma bilerek yapılmak zorunda değildir. Bir araştırmacı verisine bakarken pek çok küçük karar verir: hangi katılımcıları dışarıda bırakacağı, sonucu hangi ölçekle ölçeceği, hangi yaş gruplarını ayıracağı, analize hangi değişkenleri ekleyeceği, takibi hangi noktada keseceği. Bu kararların her biri makul görünebilir. Ama kararlar sonuca bakılarak verilirse, araştırmacı farkında olmadan, eşiğin altına inen bir p değeri bulunana dek analizi yeniden şekillendirmiş olur.

Bu sorunun ilacı, analizin sonuca bakmadan önce bağlanmasıdır.

Ön kayıt keşfi yasaklamaz. Araştırmacı plan dışı analizler de yapabilir; yalnızca bunları "keşif amaçlı" diye açıkça etiketlemesi gerekir. Keşif amaçlı bir bulgu, yeni bir çalışmanın sorusu olur, cevabı değil.

Veri kurcalamanın yanında bulguların tekrarlanmamasının başka nedenleri de vardır. Küçük çalışmalar gerçek etkiyi kaçırdığı gibi, şans eseri büyük bir etki yakalayabilir; o büyük etki dikkat çeker, yayımlanır, sonraki daha büyük çalışmalarda küçülür. Ayrıca bir alanda sınanan fikirlerin çoğu baştan yanlışsa, yüzde 5'lik şans payıyla anlamlı çıkan yanlış fikirlerin sayısı, gerçekten doğru olan az sayıdaki fikrin önüne geçebilir. Bu, dersin kanıt kısmındaki tartışmanın tam merkezindedir.

Kanıt

Bir model, ne kadar ikna edici olursa olsun, tek başına ne kadar bulgunun tutmadığını söylemez. Ioannidis aynı yıl klinik araştırmalarda gerçek sonuçlara da baktı.

Karşı tarafta, tıp literatürünün genel güvenilirliğini başka bir yöntemle tahmin eden bir çalışma var.

Yaygın yanılgılar

Sayılarla

Etkisi olmayan bir şeyi tek bir kez sınadığında, yüzde 5 eşiğiyle yanlışlıkla anlamlı bir sonuç bulma olasılığın yüzde 5'tir. Aynı şeyi birbirinden bağımsız yirmi ayrı biçimde sınarsan, en az bir sınamanın şans eseri eşiği geçme olasılığı üçte ikiye yaklaşır. Bu, 2.9'da Sevgül'ün tahlil panelinde yaptığımız hesabın aynısıdır, yalnız bu kez aralık dışına düşen değerin yerinde bir araştırma bulgusu durur; çünkü yirmisinin de anlamsız çıkma olasılığı 0,95'in yirminci kuvvetidir, bu da yaklaşık 0,36'dır. Yasemin'in yirmi müşteri grubunda tek bir "anlamlı" sonuç görmesi, beklenenden fazla değil, tam beklendiği kadardı.

Ioannidis'in JAMA çalışmasında binden fazla atıf almış 49 klinik araştırma vardı ve bunların 45'i incelenen tedavinin etkili olduğunu bildirmişti. Bu 45 çalışmanın 7'si, yani yüzde 16'sı, sonraki çalışmalarca çürütüldü. 7'si daha, yine yüzde 16, sonraki çalışmalardan daha güçlü bir etki bildirmişti. 20'si, yani yüzde 44'ü, tekrarlandı; 11'i, yüzde 24, büyük ölçüde sınanmadan kaldı. Randomize olmayan 6 çalışmanın 5'i çürütülmüş ya da etkiyi abartmış çıktı; 39 randomize denemede bu sayı 9'du.

Jager ve Leek, 77.430 makalenin özetlerinde 5.322 p değeri buldu ve yanlış keşif oranını yaklaşık yüzde 14 olarak tahmin etti. Yüzde 14, "çoğu yanlış" iddiasından çok uzaktır; ama her yedi bulgudan birinin yanlış olabileceği anlamına da gelir.

Herkes için aynı mı?

Tekrarlanabilirlik sorunu bütün araştırma türlerine eşit dağılmaz. Beslenme ve yaşam tarzı araştırmaları özellikle kırılgandır: insanlar yüzlerce farklı yiyecek tüketir, bu yiyeceklerin her biri yüzlerce sonuçla ilişkilendirilebilir ve veri çoğunlukla kişinin kendi beyanına dayanır. Böyle bir alanda çoklu karşılaştırma neredeyse kaçınılmazdır. Rıza'nın kahve haberleri bu yüzden ay ay yön değiştirebilir.

Alt grup bulguları da dikkat ister. "Bu ilaç yalnızca kadınlarda işe yaradı" ya da "yalnızca altmış yaş üstünde etkiliydi" gibi sonuçlar önemli olabilir, çünkü insanlar tedaviye gerçekten farklı yanıt verebilir. Ama bu tür bulgular önceden planlanmamışsa, Yasemin'in İzmirli müşterileri gibi şansın ürünü olma ihtimali yüksektir. Bir alt grup bulgusu, ancak ayrı bir çalışmada yeniden görüldüğünde bir kesinlik kazanır.

Ne zaman hekime?

Kahve, yumurta, kırmızı şarap ya da herhangi bir yiyecek hakkında okuduğun tek bir yeni araştırma yüzünden hekiminin önerdiği beslenme ya da tedavi planını değiştirme. Tek bir çalışmanın sonucu, özellikle ilk kez bildirilmişse, büyük ihtimalle son söz değildir. Bir kalp hastalığın, yüksek tansiyonun ya da düzenli kullandığın bir ilaç varsa ve bir haberdeki öneriyi uygulamayı düşünüyorsan, önce bunu hekimine ya da eczacına sor. Bir içeceğin ya da yiyeceğin ardından çarpıntı, baş dönmesi ya da nefes darlığı yaşıyorsan aile hekimine başvur. Göğüs ağrısı, bayılma ya da ani nefes darlığı olursa beklemeden 112'yi ara.

Kendi hayatında

Bir bulgunun kırılgan mı sağlam mı olduğunu anlamak için istatistik uzmanı olmana gerek yok; sorulacak birkaç soru yeterli. Bu hafta bir sağlık haberini bu sorulardan geçireceksin.

Kapanış

1. Etkisi olmayan bir şeyi çok sayıda farklı biçimde sınarsan, en az birinin şans eseri "anlamlı" çıkması beklenen bir şeydir; çoklu karşılaştırma ve veri kurcalama yayımlanmış bulguların bir kısmının tutmamasının ana nedenleri arasındadır.
2. En çok atıf alan klinik araştırmaların bir kısmı sonradan çürütüldü ya da etkisi küçüldü; ne kadarının yanlış olduğu konusundaki tahminler ise yönteme göre çok farklıdır ve tartışmalıdır.
3. Ön kayıt, büyük örneklem, randomizasyon ve bağımsız tekrar bir bulgunun sağlamlığının en iyi işaretleridir; tek ve çarpıcı bir bulgu en kırılgan olanıdır.

Beş soru

1. Yasemin'in yirmi müşteri grubundan birinde anlamlı bir sonuç çıkması neden bir keşif sayılmamalı?
2. Veri kurcalama ile çoklu karşılaştırma arasındaki ilişki nedir?
3. Ön kayıt, okura yayımlanmış bir analiz hakkında ne söyler?
4. Ioannidis'in JAMA çalışmasında randomize olmayan çalışmalar ile randomize denemeler nasıl karşılaştı?
5. Ioannidis 2005 PLoS Med makalesi neden "Tartışmalı" olarak etiketlendi?

Yanıtlar

Çünkü kampanyanın hiçbir grupta etkisi olmasa bile, yirmi bağımsız sınamadan en az birinin şans eseri anlamlı çıkma olasılığı yarıdan fazladır. Bulgunun gerçek olup olmadığı ancak ayrı bir denemede tekrar görülürse anlaşılır.

Veri kurcalamada araştırmacı farklı analiz seçeneklerini deneyip anlamlı çıkanı seçer; bu, görünmeyen bir çoklu karşılaştırmadır. Fark, okurun kaç sınama yapıldığını bilmemesidir.

Ön kayıt, analizin veri görülmeden önce mi planlandığını yoksa sonradan mı bulunduğunu gösterir. Yayımlanmış ana sonuç ön kayıttakiyle aynıysa güven artar; farklıysa bulgu keşif amaçlı sayılmalıdır.

Randomize olmayan 6 çalışmanın 5'i çürütüldü ya da etkiyi abarttı; 39 randomize denemede bu sayı 9'du. Randomize olmayan çalışmalar daha kırılgan çıktı.

Çünkü gerçek verilere değil, varsayımlara dayalı bir modeldir; varsayımları başka araştırmacılarca eleştirildi ve tıp literatürünün yanlış keşif oranını farklı bir yöntemle tahmin eden çalışmalar çok daha düşük bir oran buldu.

Sonraki derse köprü

Bu derste bir bulgunun şans yüzünden gerçek gibi görünebileceğini gördük. Bir de gerçek ama yanlış şeyi ölçen bulgular var: bir laboratuvar değerinin düzelmesi, hastanın daha iyi yaşaması anlamına gelmeyebilir. Sıradaki derste vekil sonlanım noktası kavramını, kan değeri iyileşirken hastaların kötüleştiği örnekler üzerinden konuşacağız.