Meta-analiz

Açılış sahnesi

Salı öğleden sonra bir göz polikliniğinde asistan hekim Derya, göz kuruluğu yaşayanlar için bir bilgilendirme broşürü hazırlıyor. Masasında ılık kompres uygulamasını inceleyen bir meta-analizin özeti duruyor. Dört çalışma birleştirilmiş ve gözyaşı filminin dağılmadan kalma süresinde ortalama 1,86 saniyelik bir uzama bulunmuş; güven aralığı 0,38 ile 3,34 saniye arasında, yani sıfırı içermiyor. Derya broşüre "dört çalışmanın ortak sonucu" diye yazmaya hazırlanıyor.

Sonra ekteki tabloya bakıyor ve bir şey dikkatini çekiyor: dört çalışmanın hiçbiri tek başına anlamlı bir fark bulmamış. Her birinin aralığı sıfırı içeriyor, hepsi "belki" diyor. Birleşince nasıl olup da "evet" çıkıyor? Bu bir hile mi, yoksa gerçek bir kazanç mı? Ve arkasından daha zor bir soru geliyor: o dört çalışma gerçekten aynı şeyi mi ölçüyordu?

Bu derste ne olacak

Önce meta-analizin ne yaptığını ve ne yapmadığını ayıracağız, çünkü sistematik derlemeyle en çok karıştırılan kavram bu. Sonra Derya'nın tablosunu elle birleştireceğiz ve dört "belki"nin nasıl tek bir "evet"e dönüştüğünü, sonucun asıl hangi çalışmadan geldiğini göreceğiz. Ardından dersin merkezine, heterojenliğe geleceğiz ve birleştirilmemesi gereken dört çalışmayı birleştirip ne olduğuna bakacağız. Kapanışta orman grafiğini hangi sırayla okuyacağını kuracağız.

Sıfır noktası

Tanımın son cümlesi en çok karıştırılan yer. Önceki derste sistematik derlemenin bir arama ve seçim yöntemi olduğunu gördün; protokol önceden kaydediliyor, arama ve dâhil etme ölçütleri ilan ediliyor ve son adımda "uygunsa" sayısal birleştirme yapılıyordu. Meta-analiz o son adımın kendisi, yani bir birleştirme yöntemi. İyi bileşim, sistematik bir derlemenin seçtiği kümeye uygun olduğu yerde meta-analiz uygulamaktır. Kötü bileşim ise seçimi belirsiz bir çalışma kümesinin sayılarını birleştirmektir; ortaya düzenli görünen ama güvenilmez bir sonuç çıkar.

Mekanizma

Dört "belki" nasıl "evet" olur

Derya'nın tablosunda üç küçük çalışma var: A, B ve C'de grup başına yaklaşık 25 kişi katılmış ve bulunan farklar sırasıyla 3,5, 2,0 ve 3,5 saniye. Dördüncü çalışma D daha büyük, grup başına yaklaşık 100 kişi, ve bulduğu fark yalnız 1,0 saniye. Küçük çalışmaların her birinin standart hatası 2,0 saniye olduğu için aralıkları çok geniş; A'nınki 3,5 ± 1,96 × 2,0, yani −0,42 ile 7,42 arasında. D dört kat büyük olduğundan standart hatası yarıya iniyor, 1,0 saniye, ve aralığı −0,96 ile 2,96 arasında. Dördünün de aralığı sıfırı içeriyor.

Meta-analiz her çalışmaya kesinliğiyle orantılı bir ağırlık verir; en yaygın yöntemde ağırlık, standart hatanın karesinin tersidir. Küçük çalışmalar için bu 1 ÷ 2,0² = 0,25, D için 1 ÷ 1,0² = 1 ediyor ve toplam ağırlık 0,25 × 3 + 1 = 1,75 oluyor. Birleştirilmiş tahmin, her farkın kendi ağırlığıyla çarpılıp toplanmasıyla bulunur: 0,25 × 3,5 + 0,25 × 2,0 + 0,25 × 3,5 + 1 × 1,0 = 3,25 ve 3,25 ÷ 1,75 ≈ 1,86 saniye. Özetteki sayı buradan geliyor.

Aralığın neden daraldığı da aynı hesaptan çıkıyor. Birleştirilmiş standart hata, toplam ağırlığın karekökünün tersidir: 1 ÷ √1,75 ≈ 0,76 saniye. Bu, en kesin tek çalışmanın standart hatasından bile küçük ve aralık 1,86 ± 1,96 × 0,76, yani 0,38 ile 3,34 saniye arasına iniyor. Sorunun ilk yarısının cevabı bu: bir hile yok, gerçek bir kazanç var. Aynı soruyu soran küçük çalışmaların belirsizlikleri birleşince azalır ve tek başına görünmeyen bir etki görünür hâle gelir.

Meta-analizin kazandırdığı ikinci şey tutarlılığın görünmesidir; çalışmaların aynı yöne mi işaret ettiği, yoksa dağınık mı durduğu grafikte tek bakışta okunur. Üçüncüsü, dikkatle sorulmak kaydıyla, alt grup sorularının sorulabilir hâle gelmesidir: etki hangi grupta daha büyük? Kazandırmadığı şey ise nedenselliktir. Nedensellik üzerine okuduğun programın bütün uyarıları burada da geçerli; gözlemsel çalışmaların meta-analizi gözlemsel kanıt olarak kalır, çünkü sayı büyüdü diye tasarım değişmez.

Ağırlıklandırma: sonuç nereden geliyor

Derya'nın hesabına bir kez daha bak. Toplam ağırlık 1,75 ve bunun 1'i D'ye ait; D'nin payı 1 ÷ 1,75 ≈ %57, küçük çalışmaların her birininki ise yaklaşık %14. "Dört çalışmanın ortak sonucu" cümlesi dört eşit sesin uzlaşması gibi duyuluyor, oysa sesin yarıdan fazlası tek bir çalışmadan geliyor. Bu kendi başına kötü bir şey değil, çünkü büyük çalışma genellikle daha güvenilirdir. Ama sonucu aktarırken bunu bilmek gerekir.

Bu payın sonucu nasıl belirlediğini görmek için ağırlıkları unutup düz ortalama alalım: (3,5 + 2,0 + 3,5 + 1,0) ÷ 4 = 2,5 saniye. Ağırlıklı sonuç 1,86, yani büyük çalışmanın küçük farkına doğru çekilmiş. Tersini de dene ve D'yi dışarıda bırak: geriye kalan üç eşit ağırlıklı çalışmanın ortalaması 9,0 ÷ 3 = 3,0 saniye. Tek bir çalışmayı çıkarmak birleştirilmiş tahmini 1,86'dan 3,0'a taşıyor ve bu yüzden meta-analiz okurken ilk bakılacak yerlerden biri ağırlık sütunudur.

Derya'nın tablosunda küçük çalışmaların büyük olandan daha büyük farklar bulması da bir rastlantı olmayabilir. Aynı soruyu soran çalışmalarda bu örüntü sık görülür ve aşağıdaki ikinci kanıt kartı onu anlatıyor. Nedenlerinden biri yayın yanlılığı: küçük bir çalışma ancak büyük bir fark bulduğunda anlamlı çıkar ve anlamlı çıkanlar daha kolay yayımlanır. Birleştirme bu yanlılığı düzeltmez; girdide ne varsa daha kesin görünen bir sayıya taşır.

Heterojenlik: birleştirmemek gerektiğinde

Şimdi Derya'nın ikinci sorusuna, dersin merkezine geliyoruz. Dört çalışma birleştirilebiliyor, ama birleştirilmeli mi? Bu, çalışmaların aynı soruya cevap verip vermediğine bağlı.

Farkı görmek için başka bir kurgu küme düşün: E ve F çalışmaları 4,0 saniyelik bir uzama, G ve H ise 1,0 saniyelik bir kısalma bulmuş ve dördünün de standart hatası 0,8 saniye. E'nin aralığı 4,0 ± 1,96 × 0,8, yani 2,43 ile 5,57 arasında; G'ninki −2,57 ile 0,57 arasında. İki çift birbirine değmiyor bile. Ağırlıklar eşit olduğu için birleştirilmiş tahmin (4,0 + 4,0 − 1,0 − 1,0) ÷ 4 = 1,5 saniye, standart hatası 1 ÷ √6,25 = 0,4 ve aralığı 0,72 ile 2,28 arasında.

Bu sonuca yakından bak. Dar, düzgün, sıfırı içermeyen bir aralık; ama dört çalışmanın hiçbiri 1,5 saniye civarında bir şey bulmamış ve birleştirilmiş aralık hiçbir çalışmanın aralığıyla örtüşmüyor. Diyelim ki E ve F göz kapağı kenarındaki bezleri tıkalı kişilerde, G ve H ise başka bir nedenle kuruluk yaşayanlarda yapılmış. O zaman ortada iki ayrı soru ve iki ayrı cevap var; 1,5 saniye bu iki cevabın ortalaması ve hiçbir hastaya karşılık gelmiyor. Heterojenlik yüksekse birleştirilmiş tahmin anlamsızlaşır, çünkü farklı sorulara verilmiş cevapların ortalaması alınmış olur.

Heterojenliğin üç ele alınış biçimi var ve sırayla birbirine bağlanıyorlar. Önce ölçülür: heterojenliği niceleyen istatistikler bildirilir ve yüksek çıkmaları bir uyarıdır, otomatik bir ret değil. Sonra açıklanmaya çalışılır; alt grup analizi ya da meta-regresyon, E–F ile G–H arasındaki gibi bir ayrımı arar. Kaynak bulunamıyorsa en dürüst seçenek birleştirmemektir: sayısal birleştirme yapılmaz, çalışmalar anlatısal olarak sentezlenir ve neden birleştirilmedikleri yazılır. Heterojenliğin türlerini ve bu ölçütlerin nasıl yanlış okunduğunu L01-P02-M04-D06'da ayrıntısıyla göreceksin.

Orman grafiğini okumak

Meta-analizin standart görseli orman grafiğidir ve okunması öğrenilebilir. Her satır bir çalışmadır; satırdaki kare o çalışmanın etki tahminini gösterir ve karenin büyüklüğü ağırlığıdır. Derya'nın tablosu çizilseydi D'nin karesi öteki üçünün toplamından büyük görünürdü. Karenin iki yanına uzanan yatay çizgi güven aralığıdır; uzunsa çalışma belirsizdir. Ortadaki dikey çizgi etkisizlik hattıdır ve bir çalışmanın aralığı bu çizgiyi kesiyorsa, o çalışma tek başına anlamlı bir fark göstermemiş demektir.

En altta bir elmas durur: birleştirilmiş tahmin, genişliği de birleştirilmiş güven aralığıdır. Karelerin birbirine göre dağılımı ise heterojenliği anlatır; hepsi aynı hizadaysa tutarlıdır, E–F ve G–H gibi iki kümeye ayrılmışsa uyarıdır. Pratik okuma sırası bu yüzden alışılmışın tersidir: önce karelerin dağılımına bak ve tutarlı olup olmadıklarını sor. Sonra ağırlıklara bak ve sonucun kaç çalışmadan geldiğini gör. Elmasa en son bak. Çoğu okur tersini yapar ve yalnız elması okur.

Klinik gerçeklik

Bir meta-analiz sonucu duyduğunda önce arkasında sistematik bir derleme olup olmadığını sor, çünkü seçimi belirsiz bir kümenin birleştirilmesi yalnız düzenli görünür. Sonra heterojenliğin ne kadar olduğuna ve ele alınıp alınmadığına bak; dağınık kareler üstünde duran dar bir elmas, açılıştakinden çok ikinci kurgu kümeye benzer. Ardından ağırlık dağılımını oku ve sonucun gerçekte kaç çalışmadan geldiğini bul. Dâhil edilen çalışmaların tasarımını da unutma, gözlemsel çalışmaların meta-analizi gözlemsel kalır. Son olarak yayın yanlılığının değerlendirilip değerlendirilmediğine bak, çünkü küçük çalışmaların büyük farkları bu yanlılığın ilk izidir.

Derya bu gözle tablosuna döndüğünde broşürdeki cümlesini değiştiriyor. "Dört çalışmanın ortak sonucu" yerine sonucun ağırlıkça büyük kısmının tek bir çalışmadan geldiğini, küçük çalışmaların daha büyük farklar bulduğunu ve çalışmaların aynı kuruluk türünü inceleyip incelemediğine bakılması gerektiğini not ediyor. Dersin tek cümlelik özeti de bu not: meta-analiz kesinliği artırır, kaliteyi artırmaz.

Kendini sına

1. Sistematik derleme ile meta-analizi ayır. Biri diğerini gerektirir mi?
2. Derya'nın tablosunda küçük çalışmaların ağırlığı neden 0,25, D'ninki neden 1? D'nin grup başına 400 kişisi olsaydı standart hatası ve ağırlığı ne olurdu?
3. Birleştirilmiş tahmini (1,86 saniye) ağırlıklarla yeniden hesapla. Düz ortalamadan neden farklı?
4. Meta-analizin üç kazancını say. Ne kazandırmaz?
5. Heterojenlik nedir? İkinci kurgu kümede birleştirilmiş tahmin neden hiçbir çalışmayı temsil etmiyor?
6. Yüksek heterojenlik karşısında üç yolu say. Hangisi en dürüst olanı?
7. Orman grafiğinin beş bileşenini ve okuma sırasını yaz.
8. "Meta-analiz kesinliği artırır, kaliteyi artırmaz" cümlesini gerekçelendir.

Bir sonraki derse köprü

Bu modülde şimdiye kadar okuduğun dört kaynak türü, ders kitabı, kılavuz, sistematik derleme ve meta-analiz, başkalarının ürettiği kanıtı derliyordu; Derya'nın tablosundaki A, B, C ve D ise o kanıtın kendisiydi. Sıradaki ders o dört satırdan birinin içine giriyor: kendi verisini toplayıp kendi analizini bildiren birincil araştırma makalesi. Orada bir makalenin özetinde yazanla sonuç tablosundaki sayıların neden ayrışabildiğini ve bir makaleyi neden yöntem bölümünden okumaya başlaman gerektiğini göreceksin.