Ağ meta-analizi

Açılış sahnesi

Çarşamba akşamı belediyenin ebeveyn danışma merkezinde pediatri uzmanı Ferit Bey'in karşısında Songül Hanım oturuyor. Yedi yaşındaki oğlu hâlâ haftanın çoğu gecesi altını ıslatıyor ve Songül Hanım'ın elinde iki öneri var: okul hemşiresi nem alarmını, komşusu ise çocuğunu "iki haftada kurutan" bir ilacı öneriyor. Sorusu tek cümle: "Hangisi daha iyi?" Ferit Bey bu sorunun, bir müdahaleyi hiçbir şey yapmamakla karşılaştıran sentezlerin cevaplamadığı bir soru olduğunu biliyor.

Akşam evde literatüre bakıyor ve bir ağ meta-analizi buluyor. Alarm çoğunlukla bekleme listesine karşı sınanmış, ilaç çoğunlukla plasebo tablete karşı, akşam sıvı kısıtlaması ve uyandırma programı gibi davranış düzenlemeleri de bekleme listesine karşı. Alarmı ilaçla doğrudan karşılaştıran yalnız iki küçük çalışma var. Yine de makalenin sonunda üç seçeneği birbirine göre sıralayan bir tablo ve bir "en iyi olma olasılığı" sütunu duruyor. Bu ders, o tablonun hiç yapılmamış karşılaştırmaları nasıl ürettiğini ve hangi koşulda güvenilebileceğini anlatıyor.

Bu derste ne olacak

Önce doğrudan ve dolaylı karşılaştırmayı ayıracak, Ferit Bey'in tablosunda alarm ile ilacın dolaylı karşılaştırmasını elle hesaplayacağız. Sonra ağ meta-analizinin ne kazandırdığını ve ağ şemasında neyin okunduğunu göreceğiz. Ardından dersin merkezine, bütün hesabın dayandığı geçişlilik varsayımına ve onun sınanabilir yüzü olan tutarlılığa geçeceğiz. Son bölümde sıralama sütununun neden en dikkatle okunması gereken çıktı olduğunu bir örnekle göstereceğiz.

Sıfır noktası

Alarm ile ilacın neden doğrudan pek karşılaştırılmadığını plasebo ve aktif karşılaştırıcı dersinde görmüştün: iki etkili seçenek arasındaki fark, etkili ile etkisiz arasındakinden küçüktür, onu göstermek çok daha büyük bir örneklem ister ve çoğu seçenek bu yüzden yalnız etkisiz bir karşılaştırıcıya karşı sınanır (L01-P02-M03-D04). Dolaylı karşılaştırma bu boşluğu ortak bir karşılaştırıcı üzerinden doldurur. Hesap, risk oranlarının logaritması üzerinden yapılır, çünkü logaritma ölçeğinde oranlar çıkarılabilir.

Ferit Bey'in tablosunda alarmın bekleme listesine göre risk oranı 1,59, ilacınki plaseboya göre 1,90. Logaritmaları ln 1,59 ≈ 0,46 ve ln 1,90 ≈ 0,64; aradaki fark 0,46 − 0,64 = −0,18 ve e^(−0,18) ≈ 0,84. Yani dolaylı tahmine göre alarmın kuru gecelere ulaştırma olasılığı ilacınkinin yaklaşık 0,84 katı. Belirsizlik de toplanır: iki tahminin logaritma ölçeğindeki varyansları 0,0075 ve 0,0144, toplamları 0,0075 + 0,0144 = 0,0219, standart hata √0,0219 ≈ 0,148. Güven aralığı 0,63 ile 1,12 arasına uzanıyor; dolaylı karşılaştırma, iki doğrudan karşılaştırmanın her birinden daha belirsiz.

Mekanizma

Ne kazandırıyor

Ağ meta-analizinin ilk kazancı hiç yapılmamış karşılaştırmaları mümkün kılmasıdır; alarmla davranış düzenlemesini karşılaştıran tek bir çalışma olmasa bile ortak bekleme düğümü üzerinden bir tahmin üretilebilir. İkinci kazanç kesinliktir: doğrudan kanıt varsa dolaylı kanıt onu güçlendirir. Ferit Bey'in tablosunda iki doğrudan çalışma alarm ile ilaç için 1,10 (0,85 – 1,42) veriyor ve dolaylı 0,84 ile birleştirildiğinde karışık tahmin 0,98 (0,80 – 1,18) oluyor; aralık her ikisinden de dar.

Üçüncü kazanç sıralamadır: bütün seçenekler tek bir ölçekte konumlanır ve hangisinin en iyi olma olasılığının yüksek olduğu hesaplanabilir. Bu en cazip çıktıdır ve en çok yanlış okunanıdır; dersin sonunda ona döneceğiz. Önce tablonun hangi bölgesinin gerçek kanıta dayandığını görmek gerekir ve bunu gösteren şey bir şemadır.

Ferit Bey'in şemasında bekleme ve plasebo düğümlerinden alarm, ilaç ve davranış düğümlerine kalın çizgiler uzanıyor. Alarm ile ilaç arasında ince bir çizgi var, iki küçük çalışma. Alarm ile davranış arasında ve ilaç ile davranış arasında hiç çizgi yok; bu iki karşılaştırma tümüyle dolaylı.

Geçişlilik varsayımı

Şimdi dersin merkezine geliyoruz, çünkü bütün yöntem tek bir varsayıma dayanıyor. Ferit Bey'in tablosundaki 0,84 de, sıralama sütunu da ancak bu varsayım tutuyorsa anlam taşır.

Varsayım neden gerekli? Dolaylı karşılaştırma, alarm–bekleme farkı ile ilaç–plasebo farkını birbirinden çıkarıyor ve bu işlem ancak iki karşılaştırıcı aynı bağlamda ölçüldüyse anlamlıdır. Ferit Bey'in tablosunda bu varsayım ilk bakışta zaten gerilmiş durumda: ağ, bekleme listesi ile plasebo tableti tek bir "etkisiz karşılaştırıcı" düğümünde birleştirmiş. Plasebo ve aktif karşılaştırıcı dersinde plasebo kolundaki düzelmenin tek kaynağının geçen zaman olmadığını, tablet alan çocuğun ve ailesinin beklentisinin de payı olduğunu görmüştün; bekleme listesindeki çocuk bu beklentiyi taşımaz. Plasebo kolu bekleme kolundan daha çok düzeliyorsa ilacın 1,90'ı olduğundan küçük görünür ve dolaylı karşılaştırma alarm lehine kayar.

Varsayımın bozulabildiği başka yerler de var. Nüfus farklıysa, örneğin ilaç çalışmaları haftada neredeyse her gece ıslatan çocuklarda, alarm çalışmaları daha hafif tablolarda yapıldıysa, iki karşılaştırıcı kolu farklı seyreder ve çıkarma işlemi yanıltır. Dönem farklıysa da aynı şey olur: ilaç çalışmaları yirmi yıl önce, alarm çalışmaları yakın zamanda yapıldıysa olağan bakım, tanı ölçütleri ve izlem değişmiştir; kontrol grubu dersinde tarihsel kontrolün etkiyi nasıl şişirdiğini hesaplamıştın ve bu, aynı sorunun ağın içine sızmış hâlidir. Son iki bozulma sonlanım tanımının farklı olması, yani aynı ad altında farklı ölçüm, ve uygulama biçiminin farklı olmasıdır; aynı alarm dört hafta ya da on altı hafta kullanılmış olabilir.

Tutarlılık — varsayımın sınanabilir yüzü

Geçişlilik doğrudan sınanamaz, ama bıraktığı iz sınanabilir. Aynı karşılaştırma için iki ayrı yoldan gelen tahmin varsa, varsayım tutuyorsa ikisinin birbirine yakın çıkması beklenir.

Ferit Bey'in tablosunda alarm–ilaç karşılaştırması için iki tahmin var: doğrudan 1,10, dolaylı 0,84. İkisinin oranı 1,10 ÷ 0,84 ≈ 1,31, yani doğrudan çalışmalar alarmı dolaylı yoldan yaklaşık üçte bir daha iyi gösteriyor. Aradaki farkın standart hatasına bölümü yaklaşık 1,4 ve bu, alışılmış eşiklerle "anlamlı" bir tutarsızlık sayılmaz. Ama iki küçük doğrudan çalışmayla sınamanın gücü düşüktür; "tutarsızlık saptanmadı" cümlesi burada da "tutarlılık gösterildi" anlamına gelmez ve plasebo ile bekleme düğümlerinin birleştirilmesi, farkın akla yatkın bir kaynağıdır.

Bir sınır daha var: tutarlılık yalnız kapalı döngülerde sınanabilir. Alarm, ilaç ve ortak karşılaştırıcı bir üçgen kurduğu için orada sınama yapılabildi. Alarm–davranış ve ilaç–davranış karşılaştırmaları ise tümüyle dolaylı; hiç doğrudan çalışma olmadığı için varsayım orada denetlenemez kalıyor.

Sıralamanın tuzağı

Ağ meta-analizlerinin en çok aktarılan çıktısı bir sıralamadır ve en dikkatli okunması gereken yer de burasıdır. Songül Hanım'ın komşusu da büyük olasılıkla bir sentezin sonucunu değil, bir sıralamanın başını duymuştu.

Ferit Bey'in tablosundaki sıralama sütunu davranış düzenlemesini yaklaşık %59 olasılıkla birinci, ilacı %38 ile ikinci, alarmı %4 ile üçüncü gösteriyor. Oysa davranış düzenlemesinin bekleme listesine göre risk oranı iki küçük çalışmadan geliyor: 2,10, ama güven aralığı 0,95 ile 4,64 arasında ve 1'i içeriyor. Birinciliği güçlü bir etkiden değil, aralığının üst ucunun çok yukarıda olmasından geliyor. On bir çalışmaya dayanan alarm ise dar aralığı yüzünden sonuncu görünüyor. Sıralamayı okurken üç şeyi kontrol et: etki tahminleri ve aralıkları sıralamanın yanında veriliyor mu, üst sıradaki seçeneklerin aralıkları birbiriyle örtüşüyor mu ve her karşılaştırma için kanıt kesinliği ayrı derecelendirilmiş mi?

Ne zaman uygun, ne zaman değil

Ağ meta-analizi, çok sayıda seçenek olduğunda, doğrudan karşılaştırmalar eksik kaldığında, çalışma kümeleri nüfus ve dönem bakımından makul biçimde benzer olduğunda ve ağda kapalı döngüler bulunduğunda uygundur. Çalışma kümeleri belirgin biçimde farklı nüfuslarda yürütülmüşse, dönemler çok ayrıysa, ağ seyrek ve döngüsüzse ya da sonlanım tanımları örtüşmüyorsa uygun değildir; o zaman üretilen sıralama, kendi varsayımlarından daha kesin görünür.

Kanıt rozetleri açısından da bir kural var: yalnız dolaylı kanıta dayanan bir karşılaştırma, doğrudan kanıta dayanan bir karşılaştırmayla aynı rozeti almaz. Yanlılık riski dersinde kanıt kesinliğini düşüren beş etkenden biri dolaylılıktı ve burada tam olarak devrede. Ferit Bey'in tablosunda alarm–ilaç karşılaştırması bir kapalı döngüye dayanıyor, davranış düzenlemesinin iki karşılaştırması ise yalnız dolaylı kanıta; aynı tabloda yan yana dursalar da aynı güveni hak etmiyorlar.

Klinik gerçeklik

Bir ağ meta-analizini okurken işe ağ şemasından başla: hangi karşılaştırmalar doğrudan, hangileri tümüyle dolaylı? Sonra ilgilendiğin karşılaştırma için doğrudan kanıt olup olmadığına bak; Songül Hanım'ın sorusu için iki küçük doğrudan çalışma var. Ardından geçişliliğin tartışılıp tartışılmadığını ara. Çalışma kümeleri nüfus, dönem ve karşılaştırıcı bakımından karşılaştırılmış mı, bekleme ile plasebo gibi farklı düğümler sessizce birleştirilmiş mi?

Tutarlılığın sınanıp sınanmadığını ve sonucunu oku, ama az sayıda doğrudan çalışmayla "tutarsızlık yok" cümlesinin zayıf olduğunu unutma. Son olarak sıralamanın tek başına mı yoksa aralıklarla birlikte mi verildiğine bak. Ferit Bey Songül Hanım'a bir sıra söylemiyor. Alarmın ve ilacın kuru gecelere ulaştırmada birbirine yakın göründüğünü, davranış düzenlemesinin ise umut verici ama zayıf kanıta dayandığını anlatıyor ve seçimi ailenin gece düzenine ve tercihine göre birlikte yapıyorlar.

Kendini sına

1. Doğrudan ve dolaylı karşılaştırmayı ayır. Hangisi randomizasyonun korumasını taşır?
2. Alarm ile ilacın dolaylı risk oranını logaritmalar üzerinden hesapla. Dolaylı tahminin varyansı neden iki varyansın toplamı?
3. Ağ meta-analizinin üç kazancını say. Ağ şemasında ne okunur?
4. Geçişlilik varsayımını tanımla. Bu tabloda bekleme ile plasebo düğümlerinin birleştirilmesi varsayımı nasıl zorluyor?
5. Tutarlılık nedir ve nasıl sınanır? Doğrudan 1,10 ile dolaylı 0,84 arasındaki fark neden tek başına güven vermez?
6. Tutarlılık hangi karşılaştırmalarda sınanamaz?
7. Sıralama olasılığının tuzağı ne? Davranış düzenlemesi neden birinci görünüyor?
8. Yalnız dolaylı kanıta dayanan bir karşılaştırma neden aynı rozeti alamaz? Bu yöntemin uygun olmadığı durumları say.

Bir sonraki derse köprü

Ferit Bey'in tablosu bir fotoğraf: arama belli bir tarihte kapandı ve o tarihten sonra yapılan çalışmalar içinde yok. Alarm ile davranış düzenlemesini doğrudan karşılaştıran tek bir büyük çalışma yarın yayımlansa, açık uç kapalı bir döngüye dönüşür ve sıralama değişebilir. Sıradaki derste bir sentezin ne kadar hızlı eskidiğini, yayın tarihinden önce okunması gereken tarihi ve yeni kanıt geldikçe kendini güncelleyen derleme modelinin hangi sorunu çözüp hangi yeni sorunları getirdiğini göreceksin.