Sistematik derleme

Açılış sahnesi

Perşembe akşamı bir aile sağlığı merkezinde, günün son hastası iki yazının çıktısını Murat Bey'in masasına bırakıyor. Yıllardır el egzamasıyla uğraşıyor ve geceleri kremin üstüne eldiven giyerek uygulanan kapalı pansumanı denemeyi düşünüyor. İki yazı da aynı soruyu ele alan derleme ve ikisi de "literatür şunu gösteriyor" diye bitiyor. Biri yöntemi yararlı buluyor, öteki yararsız.

Murat Bey kaynakçalara bakınca durumu anlıyor. Konuda kırk çalışma var; yirmi beşi bir yöne, on beşi öteki yöne işaret ediyor. Birinci yazar yirmi beşini anlatmış ve ötekilere değinmemiş, ikinci yazar tam tersini yapmış. İki yazar da yalan söylemiyor, yalnızca kendi seçtikleri literatür için doğru söylüyor. Hangisinin haklı olduğunu yazıların kendisinden anlamanın bir yolu yok, çünkü ikisi de hangi çalışmayı neden aldığını açıklamamış. Sistematik derleme tam bu seçme özgürlüğünü ortadan kaldırmak için geliştirildi.

Bu derste ne olacak

Önce sistematik derlemenin ne olduğunu ve anlatısal derlemeden farkını kuracağız. Sonra yöntemini adım adım izleyeceğiz, çünkü sistematik derlemeyi güvenilir yapan şey sonucu değil yöntemidir. Bir akış şemasını sayılarıyla birlikte okuyup tutup tutmadığını kontrol edeceğiz. Ardından en önemli sınırına geleceğiz: girdi taraflıysa çıktı da taraflıdır.

Sıfır noktası

İki tanım arasındaki fark tek bir sözcükte toplanıyor: önceden. Bilimsel açıklamanın özelliklerini işlerken öngörünün riskini görmüştün (L01-P01-M01-D03); veri görülmeden ilan edilen bir öngörü tutarsa güçlü kanıt üretir, sonuçtan sonra kurulan bir öngörü bu gücü kaybeder. Derlemede de durum aynı. Ölçütler sonuçlar görüldükten sonra belirlenirse seçim serbestliği geri gelir. Yanlışlanabilirlik dersindeki yardımcı hipotez tartışması da buraya bağlanıyor: işine gelmeyen bir çalışmayı "zaten farklı bir gruptu" diye sonradan dışlamak, uymayan sonucu bir yan varsayıma yüklemenin derlemedeki biçimidir.

Mekanizma

Yöntem: altı adım

Sistematik derlemeyi tanımlayan şey birbirine bağlı altı adımdır ve hepsi yayımlanır. İlk adım sorunun tanımlanmasıdır: kimde, hangi müdahale, neye kıyasla, hangi sonuç için. Murat Bey'in hastası için bu, "kronik el egzaması olan yetişkinlerde, gece kapalı pansuman, yalnız kremle kıyaslandığında, kaşıntıyı ve lezyonların yaygınlığını azaltır mı" olurdu. Bu akademideki kanıt kartlarının nüfus, karşılaştırma ve sonuç alanları da aynı iskeletten geliyor.

İkinci adımda protokol önceden kaydedilir. Arama stratejisi, dâhil etme ve dışlama ölçütleri ve analiz planı sonuçlar görülmeden ilan edilir; protokoller bunun için herkese açık kayıt veri tabanlarına yazılır. Üçüncü adım sistematik aramadır. Birden çok veri tabanı taranır, arama terimleri, dil ve tarih sınırları açıkça yazılır ve amaç ilgili her çalışmayı bulmaktır, işe yarayanları değil.

Dördüncü adımda seçim iki bağımsız kişi tarafından yapılır. Aynı ölçütleri iki kişi ayrı ayrı uygular ve anlaşmazlıklar kayda geçer. Doğrulama yanlılığı dersinde gördüğün mantık bu: kişinin kendi yanlılığını fark etmesine güvenilmez, onun yerine yapısal bir önlem kurulur. Beşinci adımda dâhil edilen her çalışmanın yanlılık riski değerlendirilir, çünkü çalışmalar eşit sayılmaz; tasarım ve yürütme kalitesi tek tek incelenir.

Altıncı adım bulguların sentezidir. Çalışmalar yeterince benzer ve sayısal birleştirme uygunsa meta-analiz yapılır. Uygun değilse anlatısal sentez yazılır ve neden birleştirilmediği açıkça belirtilir. Bu son cümle önemsiz bir ayrıntı gibi görünse de yöntemin dürüstlük sınavıdır: birleştirmemek de bir karardır ve gerekçesi yazılmalıdır.

Bir akış şemasını okumak

Sistematik derlemelerin raporlanmasında yaygın kullanılan PRISMA yönergesi bu şemayı ister ve okuması sanıldığından kolaydır. Murat Bey'in önündeki yazılar sistematik olsaydı, şema kabaca şöyle görünebilirdi. Taramada 1.240 kayıt bulunmuş ve bunların 310'u birden çok veri tabanında tekrar eden kayıtlarmış; geriye 1.240 − 310 = 930 kayıt kalmış. Başlık ve özet taramasında 870'i elenmiş, tam metni okunan 930 − 870 = 60 çalışma kalmış.

Tam metin aşamasında 20 çalışma daha elenmiş ve gerekçeleri yazılmış: dokuzunda kontrol grubu yok, yedisinde sonlanım farklı tanımlanmış, dördünün tam metnine ulaşılamamış. Dokuz, yedi ve dört toplanınca 20 ediyor ve 60 − 20 = 40 çalışma derlemeye girmiş. Her kutu bir öncekinden çıkıyor ve hiçbir çalışma yolda kaybolmuyor.

Şimdi aynı şemanın bozuk hâlini düşün: tam metin aşamasında 60 çalışma, gerekçesiyle 18 eleme ve dâhil edilen 40 çalışma. 60 − 18 = 42 etmesi gerekirken 40 yazıyor ve iki çalışmanın neden dışarıda kaldığı hiçbir yerde görünmüyor. Bu küçük bir yazım hatası olabilir. Ama aynı zamanda tam da açılıştaki yazarların yaptığı türden sessiz bir seçim de olabilir ve okurun bunu ayırt edecek tek aracı bu toplamadır.

Neyi çözer

Önceden ilan edilmiş ölçütler, açılıştaki iki yazarın yaptığı seçimi imkânsız kılar. Kırk çalışmanın yirmi beşini ya da on beşini seçmek artık bir tercih değil, gerekçesi yazılması gereken bir eleme olur. Kapsam da görünür hâle gelir: kaç çalışma var, kaçı dâhil edildi ve kaçı neden dışlandı, şemadan okunabilir. Yanlılık riski değerlendirmesi zayıf ve güçlü çalışmaları aynı torbaya atmayı önler.

Belki en önemlisi, sistematik derleme tekrarlanabilir olur. Başka bir grup aynı protokolü uygulayıp aynı çalışma kümesine ulaşabilir. Tekrarlanabilirlik dersinde bir bulgunun değerini onun yeniden sınanabilmesine bağlamıştık; sistematik derlemede aynı ölçüt bu kez derlemenin kendisine uygulanıyor.

Sınır: girdisinden iyi olamaz

Bilimin kendini düzeltmesi dersinde sentez basamağı için bu uyarı kısaca söylenmişti (L01-P01-M01-D07); burada nedenini açalım. Sistematik derleme yayımlanmış literatürü tarar ve yayımlanmamış olanı taramak çok zordur. Olumlu sonuçlar daha sık yayımlanıyorsa, kusursuz bir tarama bile taraflı bir kümeye ulaşır. Tekrarlanabilirlik dersinde yayın yanlılığının bir bulgunun sonraki çalışmalarda neden küçüldüğünü açıkladığını görmüştün (L01-P01-M01-D05). Sistematik derleme bu taraflılığı düzeltemez; onu daha yüksek görünen bir kanıt düzeyinde yeniden üretir.

Buna karşı alınan önlemlerin üçü de kısmidir. Yürütülmüş ama yayımlanmamış çalışmaları bulmak için araştırma kayıt defterleri taranır; kaydı olan ama sonucu hiç yayımlanmamış bir çalışma, kayıp bir sonucun işaretidir. Tezler, raporlar ve kongre sunumları gibi gri literatür de aranır. Son olarak küçük çalışmaların dağılımına bakılarak eksik çalışma olup olmadığı istatistiksel olarak tahmin edilir; ama bu bir tahmindir, kanıt değil.

Vakadaki durum açılıştakinden farklı ve bu fark önemli. Açılıştaki iki yazar seçimlerini gizlemişti; vakadaki iki derleme ise seçimlerini ilan etmiş. Sonuçları yine ayrışıyor, ama bu kez neden ayrıştıkları okunabiliyor. Sistematik derleme her zaman tek bir doğru cevap üretmez; ürettiği şey, farklı cevapların hangi farklı sorulardan geldiğini görebilmektir.

Bu akademideki yeri

Kanıt rozetleri sisteminde sistematik derleme, A rozetinin olağan dayanağıdır; bir iddianın A alabilmesi için genellikle sistematik derleme düzeyinde bir sentez gerekir. Ama bu dersin kurduğu iki uyarı burada da geçerli. Birincisi, "sistematik derleme var" tek başına A demek değildir, çünkü derlemenin sonucu olumsuz ya da belirsiz olabilir; derleme bir kanıt düzeyi değil, bir yöntemdir. İkincisi, derlemelerin kendi kalitesi değişkendir ve adı sistematik olan her yazı sistematik değildir.

Klinik gerçeklik

Bir sistematik derlemeyi okurken önce protokolün önceden kaydedilip kaydedilmediğine bak, çünkü ölçütlerin sonuçtan önce konduğunu gösteren tek şey budur. Sonra akış şemasını bul ve sayıların birbirini tutup tutmadığını kendin topla. Ardından dâhil etme ölçütlerinin senin sorunu kapsayıp kapsamadığını sor, dâhil edilen çalışmaların yanlılık riskinin değerlendirilip değerlendirilmediğine ve yayın yanlılığının ele alınıp alınmadığına bak.

Bu sorulardan en çok atlananı üçüncüsüdür: bir derlemenin sonucu doğru olabilir ama başka bir soruya ait olabilir. Murat Bey'in hastası için iyi bir derleme bulunsa bile, o derleme yalnız mesleki el egzamasını ya da yalnız çocukları incelemişse, cevabı masadaki hastaya taşınmayabilir. Derlemenin kalitesi ile sorunun uygunluğu iki ayrı kontroldür ve ikisi de yapılmadan "literatür şunu gösteriyor" cümlesi kurulmaz.

Kendini sına

1. Anlatısal ve sistematik derlemeyi ayır. Farkı tek sözcükle yaz.
2. Sistematik derlemenin altı adımını sırayla say.
3. Seçim neden iki bağımsız kişiyle yapılıyor? Hangi ilkeye dayanıyor?
4. Bir akış şemasında 850 kayıt bulunmuş, 150'si tekrar, 640'ı başlık ve özet taramasında elenmiş, tam metinde 25 eleme yapılmış ve 35 çalışma dâhil edilmiş. Sayılar tutuyor mu?
5. "Girdisinden iyi olamaz" ne demek? Hangi yanlılık bunu üretiyor?
6. Yayın yanlılığına karşı üç kısmi önlemi say.
7. İki derleme farklı sonuç veriyorsa ilk bakılacak yer neresi?
8. Bir yazının gerçekten sistematik olduğunu gösteren üç işaret nedir?

Bir sonraki derse köprü

Altıncı adım "uygunsa sayısal birleştirme yapılır" diyordu ve Murat Bey'in önündeki kırk çalışma için bu, kırk ayrı sonucun tek bir sayıya dönüşmesi demek. Sıradaki ders o birleştirmenin nasıl yapıldığını gösteriyor. Bir özette gördüğün tek sayının tablodaki çalışmalardan nasıl üretildiğini, her çalışmanın o sayıya eşit katılmadığını ve bir sonucun hangi çalışmadan geldiğini nereden okuyacağını orada göreceksin. Dersin asıl sorusu da orada seni bekliyor: sayılar teknik olarak bir araya gelebiliyorsa, bu onların aynı soruya cevap verdiği anlamına mı gelir?