Sistematik derleme ve meta-analiz

Açılış sahnesi

Bir konuda kırk çalışma var. On sekizi olumlu sonuç bildiriyor, on ikisi fark bulamıyor, onu belirsiz kalıyor.

İki kişi bu yığına bakıyor ve iki ayrı yazı yazıyor.

Birincisi on sekiz olumlu çalışmayı anlatıyor ve yazının sonunda ürünün işe yaradığını söylüyor. Yazdığı her cümle doğru; anlattığı çalışmaların hepsi gerçekten var.

İkincisi kırk çalışmanın hepsini alıyor, hangisinin nasıl kurulduğunu tek tek çıkarıyor ve sonunda bulgunun tutarsız olduğunu, güvenilir bir sonuç için yeterli olmadığını yazıyor.

İkisi de yalan söylemedi. Aralarındaki fark, hangi çalışmaların yazıya alınacağına nasıl karar verdikleri.

Ve bu kararın nasıl verildiği, sonucun kendisinden daha belirleyici.

Bu derste ne olacak

Önce bir yığını değerlendirmenin iki yolunu ayıracağız ve aralarındaki farkın nerede oluştuğunu göreceğiz.

Sonra sistematik derlemenin adımlarını tek tek açacağız; bu adımların her biri belirli bir insan eğilimini engellemek için var.

Ardından meta-analizin sayıları nasıl birleştirdiğine ve birleştirmenin ne zaman anlamsız olduğuna bakacağız.

Sonra yayın yanlılığını konuşacağız; bu, yığının kendisinin çarpık olması sorunu.

Kapanışta klasik bir derleme metninin kendini nasıl tanıttığına bakacağız, çünkü orada tam bu dersin ayrımı duruyor.

Bu derste geçen durumların hiçbiri gerçek değildir; hepsi bir kavramı görünür kılmak için yazılmış kurgulardır.

Sıfır noktası

Açılıştaki iki yazıyı adlandıralım.

Birincisi bir uzmanın konuyu anlattığı yazı. Yazan kişi alanı biliyor, okuduklarını seçiyor ve bir sonuca varıyor. Seçimin nasıl yapıldığı yazılı değil.

İkincisi ise seçim kuralını önce yazan, sonra arayan bir yazı.

Buradaki tanımlayıcı sözcük sistematik değil, önceden.

Çünkü hangi çalışmaların alınacağına sonuçlar görüldükten sonra karar verilirse, seçim kaçınılmaz olarak beklentiye doğru kayıyor.

Mekanizma — derlemenin adımları neyi engelliyor

Sistematik derlemenin adımları teknik görünüyor ama hepsi aynı amaca hizmet ediyor: karar veren kişiyi kendi beklentisinden korumak.

Mekanizma — sayıları birleştirmek

Derleme çalışmaları toplar ve bazen bir adım daha atılır: sonuçları tek bir sayıda birleştirmek.

İyi bir birleştirme bu farklılığı gizlemek yerine ölçer ve çalışmalar arasındaki uyuşmazlığı sonucun yanında ayrı bir sayı olarak bildirir. Uyuşmazlık yüksek çıktığında sorumlu davranış tek bir ortalama üretmek değil, çalışmaları benzerliklerine göre alt gruplara ayırıp her grubu ayrı anlatmaktır. Bir meta-analizin bu bilgiyi yazıp yazmadığına bakmak, çıkan sonuca bakmadan önce yapılacak iştir.

Usta katmanı — yığının kendisi çarpıksa

Buraya kadar yığındaki çalışmaların nasıl seçileceğini konuştuk. Şimdi daha zor bir soruya geliyoruz: ya yığın en baştan eksikse?

Bu, bir derlemenin kendi yöntemiyle çözemeyeceği bir sorun. Ne kadar iyi arama yapılırsa yapılsın, hiç yayımlanmamış bir çalışma bulunamıyor.

Bu ayrım klasik metinlerin kendi içinde de duruyor ve en açık örneği bir eserin kendini tanıttığı ilk satırlarda bulunuyor.

Yaygın hatalar ve yanlış bilinenler

Aklında kalsın

Bir yığını değerlendirmenin iki yolu vardır ve fark, seçme kuralının çalışmalar okunmadan önce mi sonra mı yazıldığındadır.

Sistematik derlemenin bütün adımları, karar veren kişiyi kendi beklentisinden korumak için kurulmuştur.

Meta-analiz sayıları birleştirir; birleştirilen çalışmalar birbirinden çok farklıysa çıkan sayı hesaplanabilir olsa da karşılığı yoktur.

Bir birleştirmenin kalitesi girenlerin kalitesini aşamaz; ortak bir zayıflık, çalışma sayısı arttıkça kaybolmaz.

Yayımlanmış literatür yapılmış çalışmaların tarafsız bir örneği olmayabilir ve bu eksiklik hiçbir arama yöntemiyle kapatılamaz.

Sonraki derse köprü

Bu noktaya kadar araştırmaların nasıl kurulduğunu ve nasıl bir araya getirildiğini konuştuk.

Bundan sonra sorulacak tek bir şey kaldı ve uygulamada en çok ihtiyaç duyulan da o: elimizdeki bilgiye ne kadar güveneceğiz?

Cevap iki uçlu değil. Bir bulgunun arkasındaki güven, güçlü ve zayıf diye ikiye ayrılmıyor; derecelenerek anlatılıyor ve o derecenin nasıl belirlendiğinin kendi kuralları var.

Sonraki ders kanıt kalitesini ve belirsizliği ele alıyor. Orada bu akademinin altı basamaklı kanıt ölçeğini tanıyacak ve bir cümlenin hangi basamağa oturduğunu kendin işaretleyebileceksin.