Sistematik derleme ve meta-analiz

Açılış sahnesi

Aynı yıl, aynı soru üzerine iki meta-analiz yayımlanıyor.

Soru şu: bu yaklaşım şu tabloda işe yarıyor mu?

Birincisinin sonucu: belirgin bir yarar var.

İkincisinin sonucu: yarar küçük ve belirsiz.

İki çalışma da sistematik. İkisi de yöntemini yazmış. İkisi de saygın dergilerde.

Peki nasıl?

Cevap ikisinin de topladığı çalışmalarda. Birincisi kırk iki çalışma almış, ikincisi on dokuz. Aradaki fark, hangi çalışmaların içeri alınacağına dair kararlarda ve o kararlar sonuçtan önce verilmiş olsa bile sonucu belirliyor.

Bu ders, kanıt piramidinin tepesinde duran şeyin de bir insan ürünü olduğuyla ilgili.

Bu derste ne olacak

Önce iki işi ayıracağız: çalışmaları sistemli biçimde toplamak ile sonuçlarını sayısal olarak birleştirmek. İkisi aynı şey değil ve birincisi olmadan ikincisi tehlikeli.

Sonra birleştirme işleminin nasıl yapıldığını göreceğiz. Bir ortalama alınmıyor; çalışmalar ağırlıklandırılıyor ve ağırlık nereden geliyorsa sonuç oradan besleniyor.

Ardından iki soruya bakacağız: bu çalışmalar birleştirilebilir mi, ve elimizdeki çalışmalar var olanların tamamı mı?

Son bölümde bir derlemeyi okurken bakılacak yerleri sıralayacağız. Yöntem bölümünün ilk yarısı, sonuçlar bölümünün tamamından daha bilgilendirici.

Bu derste geçen kişilerin hiçbiri gerçek değildir; hepsi ders için yazılmış kurgusal örneklerdir ve hiçbir danışan kaydından alınmamıştır.

Sıfır noktası

İkisinin farkı bu dersin yarısını taşıyor.

Mekanizma

Birleştirme nasıl yapılıyor

Elimizdekiler var olanların tamamı mı

Şimdi S00-P02-D08'in bıraktığı yerden devam ediyoruz.

Orada yayın yanlılığının literatürü nasıl iyimserleştirdiğini konuşmuştuk. Bir derleme bu sorunu miras alıyor ve üstüne bir şey daha ekliyor: tek bir çalışmada eksik olan şey bir boşluk olarak kalır, birleştirilmiş bir sonuçta ise ortalamanın içine karışır ve görünmez olur.

İyi derlemeler bu yüzden yalnız bulduklarını değil bulamadıklarını da arıyor.

Usta katmanı

Piramidin tepesi de bir insan ürünü

Bir derlemeyi okumanın sırası

Sınır ve güvenlik

Bu ders bir okuma sırası verdi ve bu, bir derlemeyi değerlendirme yetkinliği değil.

Bir derlemenin yöntem kalitesini gerçekten değerlendirmek, kullanılan araçları ve istatistiksel yöntemleri bilmeyi gerektiriyor; buradaki altı soru o değerlendirmenin yerine geçmiyor, yalnız hangi bölümlere bakılacağını söylüyor. Asıl değerlendirme S11-P01-D03'ün konusu ve oraya kadar bu altı soru yeterli bir zemin.

Buradaki bilgi özellikle bir öneriyi çürütmek için kullanılmamalı. "Bu derlemede yayın yanlılığı tartışılmamış" cümlesi doğru olabilir ama kendi başına bir hüküm kurmuyor: bir eksikliği işaret ediyor, tersini kanıtlamıyor. Kanıtın zayıflığını göstermek, karşıt iddianın doğrulandığı anlamına gelmez; iki cümle arasındaki mesafe en çok bu bölümde kayboluyor.

Bir tedavi kılavuzuna dayanan bir öneriyi de bu derse dayanarak sorgulamak, yerinde olmayan bir güven aktarımı olur. Kılavuzlar derlemelerin üstüne kurulu ve aynı sınırları taşıyor; ama alternatifleri kişisel okumalar değil, yine aynı yöntemle yapılmış daha iyi derlemeler.

Kendini ya da bir başkasını güvende hissetmediğin bir durumdaysan eğitim içeriğiyle bekleme. Bulunduğun ülkenin acil hattına, en yakın acil servise ya da bir ruh sağlığı uzmanına başvur. Eğitim içeriği acil durumu yönetmez.

Kendin dene

Aklında kalsın

Sistematik derleme ile meta-analiz aynı şey değil: biri çalışmaları önceden yazılmış bir kuralla toplama işi, öteki toplananları sayısal birleştirme işi. İkincisi birincisi olmadan tehlikeli.

Birleştirme düz ortalama değil ağırlıklı bir hesap; birleşik sonuca en çok hangi çalışmanın katkı verdiği ilk bakılacak yer.

Aynı soruda iki derleme farklı sonuca varabilir ve fark genellikle hesaplamada değil hangi çalışmaların alındığında.

Çalışma sayısı bir kalite ölçüsü değil; zayıf tasarımlı çalışmalar sistematik olarak daha büyük etki bildiriyor ve yayın yanlılığı düzeltildiğinde tahminler küçülüyor.

Meta-analiz altındaki çalışmalardan daha iyi olamaz; birleştirme işlemi zayıflığı bir kesinlik görüntüsüne büründürebiliyor.

Sonraki derse köprü

Dokuz derste bir alet takımı kurduk: sınanabilir iddia, ilişki ve neden, örneklem, ölçüm, yöntem, anlamlılık, yanlılık ve derleme.

Şimdi hepsini aynı anda kullanacağımız bir yere gidiyoruz. Karşımıza çıkan gerçek iddialar bu kadar düzenli gelmiyor: bir kitap kapağında, bir videoda, bir eğitim tanıtımında geliyorlar ve hangi aletin gerektiğini kendileri söylemiyor. Popüler psikoloji iddialarını sınama.