Kanıt sentezi quizi

Açılış

Pazartesi akşamı bir çocuk sağlığı uzmanı olan Cansu Hanım, bir pediatri dergisinin hakemi olarak mutfak masasında bir taslak okuyor: "Bebek koliğinde karın masajı: sistematik derleme ve meta-analiz." Özetin son cümlesi masajın ağlama süresini belirgin biçimde kısalttığını söylüyor ve editör raporu üç gün içinde bekliyor. Cansu Hanım özeti bir kenara bırakıyor, yöntem bölümünü açıyor ve kenar boşluğuna yalnız şunu yazıyor: bu sonuca hangi kararlarla varıldı ve hangileri önceden ilan edildi?

Bu modülün becerisi "meta-analiz var" demek değil, bir sentezin verdiği kararları, ilan ettiklerini ve o kararların sonucu nasıl değiştirdiğini görebilmek. Aşağıdaki yirmi bir soru Cansu Hanım'ın rapor yazarken sorduğu soruların sırasını izliyor ve bir kısmında önce kısa bir hesap yapman gerekiyor. Cevaba bakmadan önce kendi cevabını bir cümleyle yaz; her cevap gerekçesiyle veriliyor.

Bölüm 1 — Soru ve seçim

1. Taslağın girişi konuyu anlatan eski bir uzman derlemesine dayanıyor. Anlatı derlemesini sistematik derlemeden ayıran tek sözcük ne, ve anlatı derlemesinin tek yapısal zayıflığı hangi üç sonucu doğurur?

Doğru: "Önceden." Zayıflık, hangi çalışmaların dâhil edilmediğinin bilinmemesidir. Bundan seçimin denetlenemezliği, derlemenin tekrarlanamazlığı ve kapsamın görünmezliği çıkar.

2. Cansu Hanım o eski derlemeyi girişten çıkarmayı önermiyor. Anlatı derlemesi hangi işlerde birincildir?

Doğru: Bir alanı tanıtmak, kavramsal bir tartışma yürütmek, bir yöntemin tarihini anlatmak, bilgi boşluklarını haritalamak ve çok heterojen bir literatürü değerlendirmek. Etkinlik sorusuna cevap vermek bunlardan biri değil. Girişte bağlam için yerinde, sonuç için dayanak olarak yanlış yerde.

3. Taslağın sorusu "kolikli bebeklerde karın masajı ağlamayı azaltır mı" diye yazılmış. Yapılandırılmış sorunun dört bileşeni ne ve bu akademide nerede karşına çıkıyorlar?

Doğru: Nüfus, müdahale, karşılaştırma, sonlanım. Taslağın sorusunda karşılaştırma hiç yazılmamış ve sonlanımın hangi zaman noktasında ölçüldüğü belirsiz. Her @kanit kartının alanları da bu iskeletten gelir, çünkü rozet müdahaleye değil iddia–nüfus–sonuç üçlüsüne verilir.

4. Aynı konuda bir yıl önce yayımlanmış başka bir sistematik derleme masajı etkisiz bulmuş. İlk nereye bakılır?

Doğru: Dâhil etme ölçütlerine: nüfus, karşılaştırıcı ve birincil sonlanım aynı mı? Farklı sorular farklı çalışma kümeleri ve farklı cevaplar üretir ve iki derleme de kendi sorusu için doğru olabilir.

5. Yazarlar yalnız ilk üç ayındaki bebekleri almış. Genişlik ödünleşimini yaz; teknik bir optimum var mı?

Doğru: Dar soru az çalışma ve düşük heterojenlik getirir, doğrudan uygulanabilir ama dar bir cevap verir. Geniş soru çok çalışma ve yüksek kesinlik getirir ama yorumlanabilirlik düşer. Teknik bir optimum yoktur; doğru genişlik sorunun kime ve hangi karar için sorulduğuna bağlıdır.

6. Cansu Hanım önceki iki derlemeden soruya kesin uyan on iki çalışmalık bir liste çıkarıyor ve taslağın tek veri tabanlı aramasının bunların dokuzunu yakaladığını görüyor. Aramanın duyarlılığı kaç, ve sentezde duyarlılık mı kesinlik mi tercih edilir?

Doğru: Duyarlılık 9 ÷ 12 = 0,75; ilgili her dört çalışmadan biri kaçırılmış. Sentezde duyarlılık tercih edilir, çünkü kaçırılan bir çalışma sonucu kalıcı olarak bozar; fazla gelen kayıt yalnızca eleme işi yaratır.

7. Taslakta kayıt defterleri ve gri literatür taranmamış. Gri literatür neden aranır?

Doğru: Kalite için değil denge için. Olumsuz sonuçlar bu kanalda görece daha çok kalır ve dışlanmaları yayın yanlılığını sentezin içine taşır.

8. İki makale aynı merkezden, aynı yazarlarla ve aynı 80 bebekle, biri birinci hafta, öteki dördüncü hafta sonuçlarını bildiriyor; taslak ikisini ayrı çalışma saymış ve toplamı 960 bebek olarak vermiş. Ne oluyor?

Doğru: Aynı bebekler iki kez sayılıyor: örneklem 80 ÷ 960 ≈ 0,08, yani yaklaşık %8 şişmiş. Yinelenen yayın ayıklanmazsa güven aralığı olduğundan dar çıkar ve sonuç olduğundan kesin görünür.

Bölüm 2 — Tartma ve birleştirme

9. Yazarlar yanlılık riskini "çalışma düzeyinde" değerlendirdiklerini yazmış. Yanlılık riskinin iki ince noktası ne?

Doğru: Risk sonuca özgüdür: aynı çalışma, anne tarafından tutulan ağlama günlüğü için yüksek, bir cihazla ölçülen uyku süresi için düşük riskli olabilir. Ve risk, gerçekleşmiş yanlılık değildir; sonucun yanlış olduğunu değil, güvenilirliğinin denetlenemediğini söyler.

10. Taslağın ekinde her çalışmaya on üzerinden bir kalite puanı verilmiş ve yedinin altındakiler dışlanmış. Bu yaklaşım neden sorunlu?

Doğru: Toplam puan ağırlığı çok farklı maddeleri birleştirir ve hangi kusurun devrede olduğunu gizler. Bugünkü yaklaşım alan temelli yargı verir ve puan toplamaz; kararlar alan alan ve gerekçesiyle yazılır.

11. Bir çalışmanın beş alanı düşük, bazı endişeler, düşük, düşük, yüksek diye değerlendirilmiş. Bunları 1, 2 ve 3 diye puanlayıp ortalama alan biri ne bulur, doğru genel yargı ne?

Doğru: Ortalama (1 + 2 + 1 + 1 + 3) ÷ 5 = 1,6 çıkar ve "düşüğe yakın" diye okunur. Oysa kural asimetriktir: herhangi bir alanda yüksek risk varsa genel yargı yüksek risktir, herhangi bir alanda endişe varsa en az bazı endişelerdir. Zincirin en zayıf halkası belirler.

12. Taslak yanlılık tablosunu yalnız ekte veriyor ve sonuçlarda bir daha anmıyor. Yanlılık değerlendirmesinin sentezdeki en bilgilendirici kullanımı hangisi?

Doğru: Yalnız düşük riskli çalışmalarla yapılan duyarlılık analizi. İki sonuç benzerse bulgu dayanıklıdır; belirgin biçimde ayrışıyorsa birleştirilmiş tahmin zayıf çalışmalardan besleniyordur.

13. Taslakta hangi modelin kullanıldığı yöntemde değil, sonuçlar bölümünde yazıyor. Sabit etki ve rastgele etkiler modellerinin varsayımlarını ayır ve ikincisinin üç sonucunu say.

Doğru: Sabit etki modeli bütün çalışmaların aynı gerçek etkiyi tahmin ettiğini varsayar; rastgele etkiler modeli farklı ama ilişkili etkileri. Rastgele etkilerde güven aralığı genişler, küçük çalışmaların payı artar ve küçük çalışma etkisi varsa sapma büyür. Tahminin yorumu da "ortak etki"den "etki dağılımının ortalaması"na döner.

14. Yazarlar "heterojenlik yüksek çıktığı için rastgele etkiler modeline geçildi" diyor. Değerlendir.

Doğru: Yanlış bir gerekçe. Model soruya ve çalışmaların gerçekten benzer olup olmadığına göre, veri görülmeden seçilir. Heterojenlik yüksek diye model değiştirmek sorunu çözmez, aralığı genişleterek görünmez kılar; doğru yanıt heterojenliğin kaynağını aramaktır.

15. Taslakta öngörü aralığı yok. Öngörü aralığı nedir ve bir çocuk polikliniği için neden daha yararlı?

Doğru: Yeni bir çalışmada, yani yeni bir ortamda beklenen etkinin düşeceği aralıktır. Çalışmalar arası gerçek değişkenliği içerdiği için güven aralığından geniştir ve "bizim polikliniğimizde ne olur" sorusuna daha yakın bir cevap verir.

Bölüm 3 — Heterojenlik, eksik kanıt ve zaman

16. Taslak Q = 20 ve serbestlik derecesi 9 bildiriyor ama oran ölçüsünü vermemiş. I²'yi hesapla; heterojenliğin üç kaynağından hangisi belirtidir?

Doğru: I² = (20 − 9) ÷ 20 = 0,55; farkın yaklaşık yarısı şansla açıklanamıyor. Klinik ve yöntemsel heterojenlik nedendir, istatistiksel heterojenlik onların görünen izidir. Ölçülür, ama açıklaması ilk ikisinde aranır ve "orta" gibi bir eşik etiketi tek başına yorum değildir.

17. Tartışma bölümü, ebeveynin masajı kendisinin yaptığı çalışmalarda anlamlı fark bulunduğunu, hemşirenin yaptıklarında bulunmadığını ve bu yüzden yalnız ebeveyn masajının işe yaradığını söylüyor. Değerlendir.

Doğru: Yanlış. Bu iki ayrı sınavın sonucu, bir karşılaştırma değil. Anlamlılığın bir grupta olup ötekinde olmaması çoğunlukla örneklem büyüklüğü farkından gelir; gruplar arasındaki fark doğrudan sınanmalıdır.

18. Huni grafiği asimetrik ve taslak bunu "yayın yanlılığı kanıtı" diye yorumlamış. Başka hangi açıklamalar var?

Doğru: Yayın yanlılığının yanında en az dört başka açıklama: küçük çalışmalarda yöntemsel kalitenin düşük olması, küçük çalışmaların daha seçilmiş nüfuslarda yapılması, gerçek heterojenlik ve şans. Asimetri bir uyarı sinyalidir, kanıt değil; nedeni ayrıca tartışılır.

19. Taslağın sınırlılıklar bölümünde "yayın yanlılığı testi anlamlı çıkmadı, o hâlde yok" yazıyor. Değerlendir.

Doğru: Yanlış. Bu sınamalar düşük güçlüdür ve az çalışmada neredeyse hiçbir şey saptayamaz. "Anlamlı çıkmadı" çoğu zaman "saptayacak gücümüz yoktu" demektir ve "değerlendirilemedi" ile "yok" ayrı cümlelerdir.

20. Taslağın son bölümü masajı, ninni cihazı ve damla ilaçla bir ağ meta-analizinde sıralıyor. Geçişlilik varsayımı ne, tutarlılık ne zaman sınanamaz?

Doğru: Masaj–bekleme ve ilaç–plasebo çalışmalarındaki bebeklerin değiştirilebilir olması, yani iki çalışma kümesinin karşılaştırıcı dışında birbirine benzemesi. Tutarlılık yalnız kapalı döngülerde sınanır; bir karşılaştırma tümüyle dolaylıysa varsayım denetlenemez kalır.

21. Taslak iki ay önce gönderilmiş, arama kapanış tarihi ise on dokuz ay önce. Okuruna hangi tarihi göstermeli ve neden?

Doğru: Arama kapanış tarihini; sentez bugün 19 − 2 = 17 aylık bir gecikmeyi yayından önce taşıyor. Bu aralıkta yayımlanan büyük bir çalışma sonucu değiştirebilir ve erken kapanan aramalar olumsuz sonuçların geç yayımlanması yüzünden iyimser tarafa kayabilir. Güncel bir arama ya da yaşayan bir sentez bu yüzden istenir.

Değerlendirme

Yirmi bir sorunun en az on yedisini gerekçesiyle doğru yanıtladıysan modülün becerisi yerinde. İlk iki soru anlatı derlemesi dersine, üçüncüden beşinciye sistematik derleme sorusu dersine, altıdan sekize arama ve çalışma seçimi dersine dayanıyor. Dokuzdan on ikiye yanlılık riski, on üçten on beşe etki tahminlerinin birleştirilmesi, on altı ve on yedi heterojenlik dersine gidiyor. On sekiz ve on dokuz yayın yanlılığı, yirmi ağ meta-analizi, yirmi bir de yaşayan sistematik derleme dersine; kaçırdığın her soru için o derse dön.

Modülün kapanışı

On bir derste tek bir soruyu işledin: tekil çalışmalar bir araya getirildiğinde ne kazanılır ve ne eklenir? Kazanılan, kesinliğin artması, tutarlılığın görünür olması ve kanıt gövdesinin tek bir yerde değerlendirilebilmesidir. Eklenen ise yeni bir karar katmanıdır ve modülün taşıyıcı bulgusu şuydu: sentez tarafsız bir işlem değil, bir kararlar zinciri.

Sorunun nasıl kurulduğu hangi çalışmaların içeri gireceğini, aramanın nerede yapıldığı hangilerinin bulunabileceğini belirler. Çalışmaların nasıl tartıldığı hangilerinin sonucu taşıyacağına, model seçimi ağırlıklara ve aralığın genişliğine karar verir. Heterojenliğin nasıl ele alındığı tek sayının anlamlı olup olmadığını, eksik kanıtın nasıl değerlendirildiği sonucun ne kadar abartılı olabileceğini belirler. Altı karardan hiçbiri yanlış olmak zorunda değil; ilan edilmemiş olmaları yeterli.

Bu yüzden modülün pratik özeti tek cümledir: bir sentezi değerlendirmek, sonucunu değil kararlarını okumaktır. Forest plot laboratuvarında bunu tek bir tabloda gördün: aynı sekiz çalışma, aynı sayılar, ve yüzeysel okuma ile sütun sütun okuma zıt sonuçlara vardı. Bilimin kendini düzeltmesi dersinde duyduğun cümle de burada tam anlamını kazanıyor: derleme girdisinden iyi olamaz, ama girdisinden daha kesin görünebilir ve tehlike tam oradadır.

Araştırma tasarımları programının dört modülü böylece tamamlandı. Tanımlayıcı tasarımlar ne olduğunu söyledi, gözlemsel analitik tasarımlar karşılaştırma getirdi, deneysel tasarımlar atamayı devraldı, kanıt sentezi hepsini bir araya getirdi. Bilginin doğası programı bir iddianın ve taşıyıcısının nasıl sınanacağını kurmuştu; bu program kanıtın nasıl üretildiğini ve birleştirildiğini kurdu ve bir rozetin arkasındaki hesap artık okunabilir durumda.

Cansu Hanım raporunu reddetme önerisiyle değil, düzeltme istekleriyle bitiriyor: protokol kaydının tarihi, gri literatür ve kayıt taraması, yinelenen yayının ayıklanması, önceden ilan edilmiş bir model ve bir öngörü aralığı. Sıradaki modül bu kararların karşı tarafına geçiyor. Tek bir anne "masajdan sonra ağlama kesildi" dediğinde, kontrol grubu olmayan tek bir öncesi–sonrası dizisinin neden bu kadar ikna edici geldiğini ve ortalamaya dönüş ile doğal seyrin o dizide nasıl gizlendiğini orada göreceksin.