Meta-analiz

Açılış sahnesi

Bir öğretmen, bir sağlık dergisinde yoga ve uyku üzerine bir makalenin özetini okuyor. Özetin son cümlesi net: on sekiz çalışmanın birleştirilmiş sonucuna göre yoga, uyku kalitesini "orta düzeyde" iyileştiriyor. Makalenin ortasında bir grafik var: alt alta dizilmiş on sekiz yatay çizgi, her birinin ortasında küçük bir kare, en altta ise daha büyük bir baklava biçimi.

Öğretmen grafiğe bakınca şaşırıyor. Çizgilerin bazıları sağa, bazıları sola uzanıyor; birkaçı neredeyse ortadaki dikey çizginin üzerinde duruyor. Çalışmaların bir kısmı belirgin bir iyileşme göstermiş, bir kısmı neredeyse hiçbir şey. En alttaki baklava ise hepsinin ortasında, derli toplu duruyor.

Öğretmen, özetteki tek cümlenin bu dağınık çizgilerin hepsini nasıl temsil ettiğini merak ediyor. Bir sayı, on sekiz farklı sonucu nasıl birleştirebilir; ve birleştirirken neyi kaybeder?

Bu derste ne olacak

Bu derste bir sistematik derlemenin bir adım ötesine, çalışmaların sonuçlarını istatistiksel olarak birleştiren yönteme bakıyoruz. Önce meta-analizin ne olduğunu, kısa tarihini ve ona yöneltilen ilk eleştirileri göreceğiz. Sonra birleştirmenin nasıl yapıldığına, etki büyüklüğüne ve çalışmaların neden farklı ağırlıklar aldığına bakacağız; açılış sahnesindeki grafiği, orman grafiğini okumayı öğreneceğiz. Ardından çalışmalar birbirinden çok farklı olduğunda birleştirmenin ne kadar anlamlı kaldığını, çalışmalar arası heterojenlik kavramıyla tartışacağız. En sonda birleşik bir sonucun, alt gruplardaki farkları nasıl gizleyebileceğine bakacağız; burada ten tonu, tek bir sayının kimin deneyimini görünmez kılabileceğini gösterecek.

Sıfır noktası

Bir önceki derste çalışmaların nasıl toplandığını gördük; kurallar önceden yazılıyor, arama geniş tutuluyor, her seçim kayda geçiyordu. Orada bir adımı bilerek dışarıda bırakmıştık: toplanan sonuçları hesapla tek bir tahmine indirmeyi.

Bu adım güçlüdür: tek tek küçük çalışmaların göremediği bir etkiyi görünür kılabilir. Ama aynı adım bir riski de taşır: farklı soruları, farklı insanları ve farklı programları tek bir sayıya sıkıştırabilir. Bu ders, o sayının neyi söylediğini ve neyi söylemediğini okumayı öğretiyor.

Mekanizma

Analizlerin analizi

Meta-analiz maddesi, bu yöntemi ortak bir araştırma sorusunu ele alan birden çok bağımsız çalışmanın nicel verilerini birleştiren bir sentez yöntemi olarak tanımlıyor. Madde, yöntemin önemli bir parçasının bütün çalışmalar için birleşik bir etki büyüklüğü hesaplamak olduğunu ve bu birleştirmenin istatistiksel gücü artırıp tek tek çalışmalardaki belirsizlikleri ya da çelişkileri çözebildiğini yazıyor. Madde, meta-analizlerin çoğu zaman, ama her zaman değil, bir sistematik derlemenin parçası olduğunu ekliyor.

Madde yöntemin tarihini de veriyor. "Meta-analiz" teriminin bin dokuz yüz yetmiş altıda istatistikçi Gene V. Glass tarafından, "analizlerin analizi" anlamında konduğunu; ama istatistikçi Karl Pearson'ın bin dokuz yüz dörtte tifo aşısı üzerine birkaç çalışmanın verilerini bir araya getiren makalesinin, birden çok klinik çalışmanın sonuçlarını birleştirmek için meta-analitik bir yaklaşımın ilk kez kullanıldığı yer sayıldığını yazıyor. Madde, Glass ile Mary Lee Smith'in bin dokuz yüz yetmiş sekizde psikoterapinin etkililiği üzerine ilk örnek meta-analizi yayımladığını ve Hans Eysenck'in buna bir cevapla, meta-analizi "mega aptallık alıştırması" diye nitelediğini, sonra da "istatistiksel simya" dediğini aktarıyor. Madde, bu eleştirilere rağmen meta-analiz kullanımının yalnızca arttığını ekliyor.

Etki büyüklüğü, ağırlık ve orman grafiği

Birleştirmenin ilk adımı, her çalışmanın sonucunu aynı dile çevirmektir. Etki büyüklüğü maddesi, etki büyüklüğünü bir olgunun büyüklüğünün nicel bir ölçüsü olarak tanımlıyor ve iki grup arasındaki ortalama farkı ya da bir olayın riskini örnekler arasında sayıyor.

Meta-analiz maddesi, çalışmaların birleştirilirken eşit sayılmadığını yazıyor. Sabit etki modelinde çalışma tahminlerinin ağırlıklı bir ortalaması alınır; ağırlık olarak genellikle tahminin belirsizliğinin tersi kullanılır ve böylece büyük çalışmalar ortalamaya küçük çalışmalardan daha çok katkıda bulunur. Madde, bir meta-analize çok büyük tek bir çalışma egemen olduğunda, küçük çalışmaların bulgularının neredeyse göz ardı edildiğini de not ediyor.

Orman grafiği maddesi, açılış sahnesindeki grafiği tanımlıyor: aynı soruyu ele alan bir dizi çalışmanın tahmin edilen sonuçlarını, genel sonuçla birlikte gösteren grafik. Madde, grafiğin genellikle çalışmaların adlarını solda, her çalışmanın etki ölçüsünü ise sağda, çoğu zaman bir kareyle ve güven aralığını gösteren yatay bir çizgiyle gösterdiğini yazıyor.

Elmalar ve armutlar

Meta-analiz maddesi, yöntemin karşılaştığı güçlükleri de sıralıyor. Madde, yöntemlerin farklılığının hatalı sonuçlara yol açabileceğini yazıyor: bir girişimin biçimlerindeki ya da çalışılan grupların özelliklerindeki, küçük sanılan ya da bilinmeyen farklar, meta-analizin sonuçlarını çarpıtabilecek kadar farklı sonuçlara yol açabilir. Madde, davranışsal girişimlerin meta-analizlerde karşılaştırılmasının çoğu zaman güç olduğunu da not ediyor.

Çalışma heterojenliği maddesi, bu farklılığın istatistikteki adını veriyor: çalışmalar arasındaki sonuç farklılığının, yalnızca ölçüm hatasından beklenecek ya da onunla açıklanabilecek olanın ötesine geçmesi. Madde, birleşik bir tahminin anlamlı bir özet olabilmesi için tek tek çalışmalardaki etkilerin yeterince benzer olması gerektiğini yazıyor.

Meta-analiz maddesi, heterojenliği rastgele kabul eden rastgele etkiler modelini de anlatıyor ve heterojenlik arttıkça ağırlıkların büyük çalışmalardan küçük çalışmalara doğru kaydığını yazıyor. Bir yoga meta-analizi için heterojenlik özellikle yüksek olabilir: bir çalışmada haftada bir saatlik yumuşak bir pratik, bir başkasında her gün yapılan yoğun bir akış, bir üçüncüsünde yalnızca nefes çalışması "yoga" adı altında birleştirilebilir. Yoga programlarının bu farklılığı, araştırma okuryazarlığının ikinci biriminde kendi başına işlenecek.

Birleşik sayının gizledikleri

Simpson paradoksu maddesi, verileri birleştirmenin başka bir tehlikesini anlatıyor: bir eğilimin birkaç veri grubunda görülüp, gruplar birleştirildiğinde kaybolması ya da tersine dönmesi. Madde, bu olgunun sosyal bilimler ve tıp istatistiklerinde sık karşılaşıldığını ve karıştırıcı değişkenler ile neden ilişkileri uygun biçimde ele alındığında çözülebildiğini yazıyor.

Simpson paradoksu, bir meta-analizin birleşik sonucunun tek tek alt gruplarda olanı yansıtmayabileceğini hatırlatır. Ten tonu burada, tek bir sayının kimin deneyimini görünmez kılabileceğini gösterir. Y5.70 ve Y5.71'de, klinik çalışmaların katılımcıların etnik kökenini çoğu zaman yeterince temsil etmediğini ya da kaydetmediğini gördük. Bir meta-analizin birleştirdiği çalışmalar bu bilgiyi raporlamıyorsa, bir etkinin farklı gruplarda farklı olup olmadığı sorusu hiç sorulamaz: birleşik sayı bir ortalama verir, ama o ortalamanın koyu tenli katılımcılar ve azınlık toplulukları için de geçerli olup olmadığını söylemez.

Örneklerden okuma

Usta katmanı

Bir meta-analiz, birbirinden bağımsız çalışmaların sonuçlarını ortak bir ölçüye, etki büyüklüğüne çevirip birleştirir. Küçük çalışmaların tek başına göremediği bir etkiyi görünür kılabilir ve çelişen sonuçları bir özete bağlayabilir. Bu yüzden iyi yapılmış bir meta-analiz, bir konudaki bilginin en değerli özetlerinden biridir.

Usta bir öğretmen bu özeti okurken tek sayıdan önce grafiğe bakar. Orman grafiğinde çalışmaların birbirine ne kadar benzediğini, hangi çalışmaların sonuca egemen olduğunu ve heterojenliğin ne kadar yüksek olduğunu görür. Birleştirilen çalışmaların kendi dersiyle aynı şeyi sınayıp sınamadığını sorar: elmaları mı birleştiriyorlar, yoksa elmalarla armutları mı?

Usta bir öğretmen bir meta-analizin ancak birleştirdikleri kadar iyi olduğunu bilir. Düşük nitelikli çalışmalar etkiyi şişirebilir, bir çıkar çatışması seçimi yönlendirebilir ve birleşik bir sayı, alt gruplardaki farkları, özellikle raporlanmamış ten ve köken farklarını, görünmez kılabilir. Sonucu aktarırken ortalamayı, dağılımı ve bilinmeyeni birlikte söyler.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

Meta-analiz, aynı soruyu ele alan çalışmaların sonuçlarını ortak bir ölçüye çevirip birleştirir ve istatistiksel gücü artırır.

Birleşik sonuç bir ağırlıklı ortalamadır; büyük çalışmalar daha çok ağırlık alır ve sonuca egemen olabilir.

Orman grafiği, tek sayının arkasındaki dağılımı gösterir; özetten önce ona bakılır.

Çalışmalar birbirinden çok farklıysa, birleşik sayı farklı gerçeklerin ortalamasıdır.

Birleşik bir sayı alt gruplardaki farkları gizleyebilir; raporlanmamış ten ve köken farkları hiç görünmez.

Sonraki derse köprü

Bu derste çalışmaların nasıl birleştirildiğini ve birleştirmenin neyi gizleyebileceğini gördük. Ama hem bir meta-analiz hem de dahil ettiği her çalışma için bir soru daha var: araştırmacılar neyi ölçeceklerine ve nasıl çözümleyeceklerine sonuçları görmeden önce mi karar verdiler?

Sıradaki dersin konusu bu önceden verilen karar: protokol ve ön kayıt.

Soru şu: bir çalışmanın planını veriler toplanmadan önce kamuya açık bir yere yazmak, sonuçların güvenilirliğini neden artırır ve bir okur bir çalışmanın bu plana uyup uymadığını nasıl kontrol eder?