İlk bulgu, küçük örneklem

Bir an

Gece yarısını geçmiş. Sevgül yine terle uyanmış, yorganı atmış, bir süre tavana bakıyor. Uyuyamayınca telefonu eline alıyor. Bir sağlık sitesinde parlak bir başlık: "Dünyada ilk kez gösterildi: Bir bitki özütü menopozda gece terlemesini yarı yarıya azalttı." Haberin içinde, araştırmayı yapan ekibin başındaki profesörün sözleri var: "Sonuçlar beklentimizin çok üzerinde. Bu, milyonlarca kadın için yeni bir umut."

Sevgül haberi sabaha kadar düşünüyor. Kahvaltıda Defne'ye gösteriyor. Defne haberin sonunu okuyup, bulabildiği kadarıyla çalışmanın özetine bakıyor. Otuz kadın katılmış. Yarısı özütü, yarısı plasebo almış. Sekiz hafta sürmüş. "İlk kez" denmesinin nedeni de bu: bu özüt daha önce hiç insanlarda denenmemiş.

"Anne," diyor Defne, "otuz kişi. Her grupta on beş kadın. Bir sonuç çıkmış, ama bu sonuç ikinci bir çalışmada da çıkacak mı, kimse bilmiyor."

Sevgül iç çekiyor. "Ama yarı yarıya azaltmış. Bu küçük bir fark değil ki."

Defne bir an duraksıyor. "Belki de tam bu yüzden şüphelenmek gerekiyor."

Soru

Bir tedavinin etkisini ilk kez ve küçük bir grupta gösteren çalışmalar, etkiyi neden çoğu zaman olduğundan büyük gösterir ve "ilk kez gösterildi" haberine nasıl bakmak gerekir?

Nasıl işler

Bir tedavinin gerçekte ne kadar işe yaradığını hiçbir çalışma kesin olarak ölçemez; her çalışma, gerçek etkinin şansla karışmış bir tahminini verir. Güven aralığı dersinden (2.6) hatırlanacak bir ilke: katılımcı sayısı küçüldükçe bu tahmin daha çok oynar: küçük bir çalışma gerçek etkiyi büyük de bulabilir, küçük de, hatta tersine de.

Küçük bir çalışmanın bir sorunu daha vardır: gerçek bir etkiyi yakalama şansı düşüktür.

Bu iki bilgiyi birleştirdiğimizde bir tuzak ortaya çıkar. Gerçek etkisi orta büyüklükte olan bir tedaviyi, aynı tasarımla, birbirinden habersiz pek çok küçük ekibin sınadığını düşün. Şans yüzünden bazı ekipler etkiyi gerçeğinden küçük, bazıları büyük bulur. Gücü düşük olduğu için, etkiyi gerçek değerinde ya da daha küçük bulan ekiplerin sonuçları çoğu zaman anlamlılık eşiğini geçemez. Eşiği geçebilenler, çoğunlukla şansın etkiyi büyüttüğü ekiplerdir. Bu ekipler "anlamlı bir sonuç" bulduklarını duyurur, makaleleri yayımlanır, basın bültenleri yazılır. Ötekiler ya hiç yayımlamaz ya da sessizce yayımlar.

Buradaki ince nokta şu: kazanan laneti için kimsenin hile yapması gerekmez. Her ekip dürüst çalışmış olabilir. Abartı, yalnızca "eşiği geçenin" seçilip duyurulmasından doğar. 3.1'deki yayın yanlılığı, 3.2'deki veri kurcalama ve 3.6'daki basın bülteni bu seçilimi daha da güçlendirir.

"İlk kez" ifadesi bu yüzden önemlidir. Bir bulgunun ilk kez gösterilmesi, onun henüz tekrar edilmediği anlamına gelir. İlk çalışma küçükse, etkinin büyüklüğü hakkında söylediği şey en güvenilmez tahmindir. Çarpıcı bir etki, küçük bir ilk çalışmada parlıyorsa, bu güçlü bir kanıt değil, sınanması gereken bir sorudur.

Kanıt

Bu kuramsal beklentinin gerçek denemelerde nasıl göründüğü, büyük bir veri setiyle sınandı.

Aynı sorun tıbbın başka alanlarında da gösterildi. Katherine Button ve arkadaşlarının Power failure: why small sample size undermines the reliability of neuroscience (Nat Rev Neurosci, 2013) makalesi, sinirbilim çalışmalarının ortalama gücünün çok düşük olduğunu ve bunun etki büyüklüklerinin abartılmasına ve sonuçların tekrarlanamamasına yol açtığını savundu.

Yaygın yanılgılar

Sayılarla

Pereira ve arkadaşları, 3.082 Cochrane derlemesindeki 85.002 orman grafiğini taradı. Bunların 8.239'unda, yani yüzde 9,7'sinde, yayımlanan ilk deneme anlamlı ve çok büyük bir etki bildirmişti; çok büyük etki burada, olasılık oranının en az 5 olması demekti. 5.158 grafikte, yüzde 6,1, çok büyük etki ilk denemeden sonraki bir denemede görülmüştü. Geri kalan 71.605 grafikte, yüzde 84,2, hiçbir denemede böyle bir etki yoktu.

Çok büyük etkiler küçük denemelerden geliyordu: bu denemelerdeki olay sayısının ortancası ilk denemelerde 18, sonraki denemelerde 15'ti. Meta-analizlere diğer denemeler eklendiğinde, ilk denemelerde görülen çok büyük etkilerin yüzde 90'ı, sonraki denemelerde görülenlerin yüzde 98'i küçüldü. İlk denemelerdeki ortanca olasılık oranı 11,88'den 4,20'ye, sonraki denemelerdekiler 10,02'den 2,60'a indi. Ayrıntılı incelenen 500 konunun yalnızca 46'sında, yüzde 9,2, çok büyük etki diğer denemeler eklendikten sonra da güçlü biçimde sürdü ve bunların hiçbiri ölümle ilgili değildi. Bütün veritabanında, ölüm üzerinde büyük ve kalitesi konusunda ciddi bir kaygı olmayan yalnızca bir girişim bulundu: ağır solunum yetmezliği olan yenidoğanlarda vücut dışı oksijenlendirme.

Sevgül'ün haberindeki çalışmada her grupta on beş kadın vardı. Bu büyüklükte bir çalışmada iki grup arasındaki birkaç kadının farklı seyretmesi bile sonucu büyük ölçüde değiştirebilir.

Herkes için aynı mı?

İlk ve küçük çalışmalar en çok, büyük çalışmaların az yapıldığı alanlarda karşımıza çıkar. Menopoz yakınmaları, nadir hastalıklar, bitkisel ürünler ve takviyeler, kadın sağlığına ve yaşlılığa özgü sorunlar bunların başındadır. Bu alanlarda okurun eline geçen kanıt çoğu zaman yalnızca birkaç küçük çalışmadır; bu da kazanan lanetinin etkisini artırır.

Küçük çalışmaların katılımcıları da çoğunlukla dar bir gruptur: tek bir hastaneden, tek bir şehirden, belirli bir yaş aralığından. Sevgül'ün haberindeki otuz kadının hangi ülkede yaşadığı, kaç yaşında olduğu, başka ilaç kullanıp kullanmadığı, Sevgül'e ne kadar benzediklerini belirler. Tansiyon ilacı kullanan, başka hastalıkları olan ya da farklı bir yaş grubundaki biri için sonuç, ilk çalışmanın gösterdiğinden de belirsizdir.

Ne zaman hekime?

Menopozda gece terlemesi ve sıcak basmaları uykunu ya da günlük hayatını belirgin biçimde bozuyorsa, bunu kadın hastalıkları uzmanına ya da aile hekimine anlat; bu yakınmalar için etkisi büyük çalışmalarla gösterilmiş seçenekler vardır ve hangisinin sana uygun olduğu kişisel risklerine bağlıdır. Bir bitki özütü ya da takviye denemeyi düşünüyorsan, düzenli kullandığın ilaçları bilen hekimine önce sor; bazı bitkisel ürünler tansiyon ilaçları, kan sulandırıcılar ya da başka ilaçlarla etkileşebilir. Adet tamamen kesildikten aylar sonra gelen bir kanama, açıklanamayan kilo kaybı ya da ateşle birlikte gelen gece terlemesi ise bekletilmemesi gereken belirtilerdir; bunları kısa sürede bir hekime göster.

Kendi hayatında

Defne'nin kahvaltıda yaptığı şey, çalışmanın kaç kişiyle yapıldığına ve ilk mi olduğuna bakmaktı. Bu iki bilgiye çoğu zaman haberin kendisinden ya da özetin ilk cümlelerinden ulaşılır.

Kapanış

1. Küçük bir çalışma gerçek bir etkiyi yakalamakta zorlanır; eşiği geçebildiğinde ise bunu çoğu zaman şansın etkiyi büyüttüğü durumlarda yapar.
2. Kazanan laneti hile gerektirmez: yalnızca anlamlı çıkan ilk çalışmaların öne çıkarılması, yayımlanan etkileri gerçekten büyük gösterir.
3. Cochrane verisinde çok büyük etkilerin çoğu küçük denemelerden geldi ve sonraki denemelerle küçüldü; "ilk kez" ve "küçük" bir arada görüldüğünde etki büyüklüğüne temkinle bakmak gerekir.

Beş soru

1. Etki büyüklüğü ile p değeri arasındaki fark nedir?
2. İstatistiksel gücü düşük bir çalışmanın iki sorunu nedir?
3. Kazanan laneti nedir ve ortaya çıkması için neden hile gerekmez?
4. Pereira ve arkadaşlarının çalışmasında ilk denemelerde görülen çok büyük etkilerin ne kadarı sonraki denemelerle küçüldü?
5. Sevgül'ün okuduğu haberde, bulgunun kırılgan olduğunu gösteren hangi işaretler vardı?

Yanıtlar

Etki büyüklüğü bir tedavinin etkisinin ne kadar büyük olduğunu gösterir. p değeri ise gözlenen farkın şansla açıklanıp açıklanamayacağını sorar. Bir etki anlamlı ama çok küçük, ya da büyük ama anlamsız olabilir.

Gerçek bir etkiyi çoğu zaman kaçırır; ve gerçek bir etkiyi yakaladığında, genellikle şansın büyüttüğü bir tahminle yakalar, yani etkiyi olduğundan büyük gösterir.

Kazanan laneti, eşiği geçtiği için öne çıkan ilk çalışmaların etkiyi gerçeğinden büyük göstermesidir. Hile gerekmez, çünkü abartı tek tek çalışmalardan değil, yalnızca anlamlı çıkanların seçilip duyurulmasından doğar.

Yaklaşık yüzde 90'ı. Sonraki denemelerde görülen çok büyük etkilerin ise yüzde 98'i küçüldü.

Çalışma ilk kezdi ve henüz tekrarlanmamıştı; her grupta yalnızca on beş kadın vardı; süre sekiz haftaydı; bildirilen etki çok büyüktü ve araştırmacı sonucun "beklentilerin çok üzerinde" olduğunu söylüyordu.

Sonraki derse köprü

Bu modülde bir makaleyi okurken sorulacak soruları tek tek topladık: kim finanse etti, ön kaydı var mı, hangi sonucu ölçtü, kaç kişiyle yapıldı, ilk mi. Sıradaki atölyede bunları bir kontrol listesinde birleştirecek ve bir makaleyi on dakikada okumayı birlikte deneyeceğiz.