Randomize bir çalışmayı okumak

Açılış

Bir aile hekimliği muayenehanesinde bir hasta, çantasından katlanmış birkaç sayfa çıkarıp masaya bırakıyor. Bir tanıdığı göndermiş; başlıkta "randomize" kelimesi var ve son cümlesi, M adlı bir müdahalenin onun durumundaki kişilere önerildiğini söylüyor. Hasta tek bir şey soruyor: "Randomize çalışmalar en güvenilirleri değil mi, başlayayım mı?" Hekim sayfaları alıyor ve cevap vermeden önce yöntem bölümünü baştan okuyor.

Bu ders, o okumayı birlikte yapacağımız üçüncü kanıt laboratuvarı. Tanımlayıcı tasarımlar modülünün sonunda bir kesitsel çalışma, gözlemsel tasarımlar modülünün sonunda bir kohort çalışması okumuştun. Bu kez metin, hiyerarşinin en üstünde duran tasarımdan geliyor ve dersin amacı, en güçlü tasarımın bile kaç ayrı yerden zayıflayabileceğini görmek. Bu modülde tek tek kurduğun korumaları, yani randomizasyonu, kontrol grubunu, körlemeyi, analiz setini ve kaydı, aynı metin üzerinde sırayla sınayacaksın.

Metin

Başlık: M müdahalesinin S sonlanımı üzerindeki etkisi: randomize, açık etiketli çalışma

Yöntem: Üç merkezde, 18–65 yaş arası, eşlik eden başka hastalığı bulunmayan 180 katılımcı çalışmaya alındı. Katılımcılar başvuru sırasına göre dönüşümlü olarak M müdahalesi ya da olağan bakım koluna atandı. Çalışma açık etiketliydi. Birincil sonlanım, 12. haftada kişi bildirimli S ölçeğindeki değişimdi. İkincil sonlanımlar arasında iki laboratuvar ölçümü ve bir işlevsellik ölçeği yer aldı.

Bulgular: 180 katılımcının 149'u çalışmayı tamamladı (M kolunda 82/90, olağan bakım kolunda 67/90). Tamamlayanlarda S ölçeğinde anlamlı iyileşme gösterenlerin oranı M kolunda 49/82, olağan bakım kolunda 27/67 idi ve fark istatistiksel olarak anlamlıydı. İkincil laboratuvar ölçümlerinde fark bulunmadı.

Sonuç: M müdahalesi S sonlanımını iyileştirmektedir ve bu grupta kullanımı önerilir.

Okumaya geçmeden önce kendine sor: bu kısa metinde kaç ayrı sorun görüyorsun? Bir sayı yaz ve ders boyunca onu kontrol et. En az altı sorun var ve aşağıdaki sekiz adım onları sırayla açıyor; son iki adım ise bu sorunları bir sonuç cümlesine ve bir rozete çeviriyor.

Adım 1 — "Randomize" mi?

Yöntem bölümü atamayı şöyle anlatıyor: "başvuru sırasına göre dönüşümlü olarak." Başlıkta randomize yazsa da bu bir randomizasyon değil. Randomizasyonu işleyen L01-P02-M03-D02 bu durumu sıra öngörülebilirliği diye adlandırmıştı: tek numaralı başvuran M koluna, çift numaralı başvuran olağan bakıma gidiyorsa, bir sonraki katılımcının hangi kola gideceği önceden bilinebilir.

Bunun sonucu, atamanın gizlenmemesidir. Katılımcıyı çalışmaya alan kişi sıradaki kolu bildiği için, farkında olmadan bile, kimin o gün çalışmaya alınacağına karar verebilir. Umutlu görünen bir hastayı M sırasına denk getirmek ya da daha ağır bir hastayı bir sonraki kişiye bırakmak kötü niyet gerektirmez, bir sezgi yeter. Aynı derste atamanın yeterince gizlenmediği çalışmalarda tedavi etkilerinin daha büyük bildirildiğini gösteren bir kanıt kartı vardı; bu metin daha ilk adımda o kartın tarif ettiği riski taşıyor.

Adım 2 — Kontrol grubu ne?

Kontrol kolu "olağan bakım" olarak adlandırılmış ve metnin hiçbir yerinde bu bakımın ne olduğu yazmıyor. Kontrol grubu dersinin kalite ölçütlerinden biri tam olarak buydu: tanımlanmamış bir olağan bakım bir tanım değil, bir yer tutucudur. Üç merkezde olağan bakım üç farklı şey olabilir ve sonuç, hangi bakıma karşı üstün bulunduğu bilinmeden başka bir kliniğe taşınamaz.

İkinci bir sorun daha var. M kolu bir müdahale ve ona eşlik eden ziyaretleri, ilgiyi, hatırlatmaları alıyor; olağan bakım kolu bunların hiçbirini almıyor. İki kolun eşit temas almaması, ölçülen farkın içine temasın kendi etkisinin karışması demek. Aynı derste tanımlanan dikkat kontrolü, yani müdahale koluna eşit zaman ve ilgi veren ama incelenen içeriği taşımayan bir kol, burada kullanılmamış. Bu tasarımda ölçülen şey müdahalenin içeriği değil, müdahalenin bütün paketi.

Adım 3 — Körleme

Metin çalışmanın açık etiketli olduğunu söylüyor; yani kimse körlenmemiş. Körlemeyi işleyen L01-P02-M03-D05'teki dört tarafı sırayla düşün. Katılımcı hangi kolda olduğunu biliyor ve birincil sonlanım kişi bildirimli. Uygulayan biliyor. Değerlendiren de biliyor, çünkü kişi bildirimli bir ölçekte değerlendiren zaten katılımcının kendisi. Analizi yapanın körlenip körlenmediğine dair metinde hiçbir bilgi yok.

Bu bileşimin neden özellikle kötü olduğunu sor. Körleme dersinin risk sıralamasında en tehlikeli nokta buydu: körleme yok ve sonlanım öznel. Yeni bir şey denediğini bilen ve ondan bir şey bekleyen bir kişi, ölçeği doldururken iyileşmeyi olduğundan biraz daha iyi bildirebilir; olağan bakımda kaldığını bilen bir kişi de hayal kırıklığını ölçeğe taşıyabilir. O dersteki kanıt kartı, körleme uygulanmayan çalışmalarda tedavi etkilerinin özellikle öznel sonlanımlarda daha büyük bildirildiğini söylüyordu.

Metinde bu okumayı destekleyen bir ipucu da var: ikincil laboratuvar ölçümlerinde fark bulunmamış. Katılımcının beklentisinden etkilenmeyen nesnel ölçümlerde fark yok, beklentiden en çok etkilenen öznel ölçekte fark var. Bu, körleme dersindeki "Aynı çalışma, iki sonlanım" vakasının birebir örüntüsü. Tek başına müdahalenin işe yaramadığını kanıtlamaz, ama bulunan farkın ne kadarının müdahaleye, ne kadarının beklentiye ait olduğunu ayırmayı imkânsız kılar.

Adım 4 — Kayıp izlem

Çalışmaya 180 kişi başlamış ve 149 kişi tamamlamış; 31 kişi, yani yaklaşık altıda bir kaybolmuş. Asıl soru kaybın büyüklüğü değil, iki kolda dengeli olup olmadığı. M kolunda 90 kişiden 8'i, olağan bakım kolunda 90 kişiden 23'ü ayrılmış. Oranlar yüzde 9 ve yüzde 26 civarında; kontrol kolundaki kayıp neredeyse üç kat.

Kayıp izlemi işleyen L01-P02-M02-D07, kaybın rastgele olup olmadığını anlamak için dört dolaylı yol saymıştı ve ikincisi gruplar arası kayıp farkıydı: bir kolda kayıp belirgin biçimde yüksekse bu tek başına bir uyarıdır. Buradaki mekanizmayı tahmin etmek de zor değil. Kontrol kolunda olduğunu bilen ve hiçbir yeni şey almayan bir kişinin, haftalarca ölçek doldurmaya devam etme isteği azalır. Yani körleme eksikliği, kayıp izlemi de üretmiş olabilir; bu metindeki kusurlar birbirinden bağımsız değil, biri ötekini besliyor.

Adım 5 — Hangi analiz seti?

Bulgular bölümündeki iyileşme oranları "tamamlayanlarda" hesaplanmış. Bu, üstünlük ve eşdeğerlik tasarımlarını işleyen derste tanımlanan protokole uygun analiz: yalnız çalışmayı sonuna kadar sürdürenler analiz ediliyor. Randomizasyonun sağladığı koruma, gruplar başlangıçta nasıl kurulduysa öyle karşılaştırıldığında işler; kalanları analiz ettiğinde artık seçilmiş iki grubu karşılaştırıyorsundur. Bu metinde randomizasyon zaten zayıftı ve protokole uygun analiz o zayıf korumayı da ortadan kaldırıyor.

Ayrılanların neden ayrıldığını ve akıbetlerinin ne olduğunu sor. Metin bunu söylemiyor ve kayıp izlem dersindeki dolaylı yolların hiçbiri kullanılmamış: ayrılanlarla kalanların başlangıç karşılaştırması yok, ayrılma nedenleri yok, duyarlılık analizi yok. Bu yüzden sonucun kayba ne kadar dayanıklı olduğunu kendin sınaman gerekiyor ve metindeki sayılar bunu yapmana izin veriyor.

Tamamlayanlarda iyileşme oranı M kolunda 49 ÷ 82 ≈ 0,60, olağan bakım kolunda 27 ÷ 67 ≈ 0,40; aradaki fark yaklaşık 20 yüzde puan. Şimdi en kötü durum analizini yap, yani kaybolanlara M'nin aleyhine olacak sonucu ata. M kolundan ayrılan 8 kişinin hiçbiri iyileşmemiş, olağan bakımdan ayrılan 23 kişinin hepsi iyileşmiş olsun. Oranlar M kolunda 49 ÷ 90 ≈ 0,54, olağan bakım kolunda (27 + 23) ÷ 90 ≈ 0,56 olur ve fark tamamen kaybolur, hatta hafifçe ters döner. Bu gerçekçi bir tahmin değil, bir dayanıklılık sınavı; ama sonucun bu sınavı geçemediğini, yani ayrılanlar hakkında ne varsaydığına bağlı olduğunu açıkça gösteriyor.

Adım 6 — Sonlanım ve önceden belirlenme

Birincil sonlanım 12. haftada kişi bildirimli S ölçeği, ikincil sonlanımlar iki laboratuvar ölçümü ve bir işlevsellik ölçeği. Bu birincil sonlanımın veri toplanmadan önce mi belirlendiğini sor. Cevabı bulmanın yolu, protokol ve kayıt dersinde gördüğün kontroldü: makaledeki kayıt numarasını bulmak, kayıt defterinde açmak ve oradaki birincil sonlanımı yayındakiyle yan yana koymak.

Metinde kayıt numarası yok ve bu kontrol hiç başlayamıyor. Bu yoklukla birlikte bir örüntü de dikkat çekiyor. Birincil sonlanım, körleme yokluğundan en çok etkilenecek olan öznel ölçek; fark bulunmayan nesnel ölçümler ise ikincil sırada. Bu sıralama veri toplanmadan önce yapılmışsa, çalışma riskli bir öngörüde bulunmuş ve öngörü öznel ölçekte tutmuş demektir. Sonuçlara bakıldıktan sonra yapılmışsa, fark çıkan ölçüt birincil ilan edilmiş demektir. Kayıt olmadan bu iki durumu birbirinden ayırmanın hiçbir yolu yok.

Adım 7 — Sonuç cümlesini yeniden yaz

Metnin cümlesi: "M müdahalesi S sonlanımını iyileştirmektedir ve bu grupta kullanımı önerilir."

Verinin desteklediği cümle: "Yarı-rastgele atama kullanılan, atamanın gizlenmediği ve hiçbir tarafın körlenmediği bu çalışmada, tamamlayan katılımcılar arasında M kolunda kişi bildirimli ölçekte daha büyük iyileşme gözlenmiştir. İkincil nesnel ölçümlerde fark bulunmamıştır. Kontrol kolundaki izlem kaybı belirgin biçimde yüksektir ve yalnız tamamlayanlar analiz edilmiştir; kaybolanlar için olumsuz varsayımla fark ortadan kalkmaktadır. Birincil sonlanımın önceden belirlendiği doğrulanamamaktadır. Bulgu, körlenmiş bir tasarımla ve tedavi niyetine göre analizle doğrulanmalıdır."

İkinci cümle uzun, ama söylediği her şey metnin kendisinde duruyor ve hiçbiri metnin söylemediği bir şey eklemiyor. İlk cümle ise iki ayrı sıçrama yapıyor: tamamlayanlarda görülen öznel bir farktan müdahalenin etkili olduğuna, oradan da herkese yönelik bir öneriye. Hasta masadaki sayfaları okusaydı ilk cümleyi görecekti; hekimin ona aktarması gereken ise ikincisi.

Adım 8 — Rozeti ver

Bu çalışma C rozeti alır. Lehine olanlar gerçek: insan verisi var, eş zamanlı bir karşılaştırma grubu var ve çalışma ileriye dönük yürütülmüş. Aleyhine olanlar ise uzun bir liste oluşturuyor: atama yarı-rastgele ve gizlenmemiş, körleme yok, birincil sonlanım öznel, kayıp kollar arasında dengesiz, analiz yalnız tamamlayanlarla yapılmış ve kayıt yok.

A ya da B olamamasının sebebi, tasarımın adının "randomize" olmasına rağmen randomizasyonun ve körlemenin sağladığı korumaların hiçbirinin işlememiş olması. D'den yukarıda durmasının sebebi ise bütün kusurlarına rağmen insan verisi ve eş zamanlı bir karşılaştırma taşıması. Dersin en önemli sonucu burada: bir çalışmanın "randomize kontrollü" diye adlandırılması ona kendiliğinden yüksek bir rozet vermez. Tasarımın adı değil, uygulaması rozeti belirler.

Kartın saydığı üç zayıflık, gizleme, körleme ve eksik verinin ele alınışı, bu metnin birinci, üçüncü ve beşinci adımlarında tek tek karşına çıktı. Kartın söylediği şey, bu zayıflıkları taşıyan çalışmaların tesadüfen değil sistematik olarak daha büyük etki bildirdiği. Masadaki hastanın sorusuna dönersek, cevap "randomize olduğu için güvenilir" değil; "randomize diye adlandırılmış, ama korumalarının çoğu işlememiş ve bulduğu fark bu eksiklerle açıklanabilir" olur.

Kendini sına

1. "Başvuru sırasına göre dönüşümlü atama" neden randomizasyon değil? Hangi korumayı ortadan kaldırıyor?
2. Tanımsız "olağan bakım" kolu hangi iki soruna yol açıyor?
3. Körleme yokluğu ile öznel birincil sonlanım bileşimi neden en riskli?
4. İkincil laboratuvar ölçümlerinde fark bulunmaması hangi bilgiyi taşıyor, hangisini taşımıyor?
5. Kayıp izlemdeki dengesizliğin mekanizmasını açıkla. Hangi kusurla bağlantılı?
6. Hangi analiz seti kullanılmış? En kötü durum analizinde fark neden kayboluyor? Kaybolanların hepsi iyileşmemiş sayılsaydı oranlar kaç olurdu?
7. Kayıt numarasının yokluğu hangi kontrolü imkânsız kılıyor ve birincil sonlanım hakkında hangi iki olasılığı ayırt edilemez bırakıyor?
8. Sonuç cümlesini kendi kelimelerinle yeniden yaz.
9. Bu çalışma neden A rozeti alamıyor? Kural olarak ne öğreniyoruz?

Bir sonraki derse köprü

Bu derste modülün korumalarını tek bir metnin üzerinde, birbirine bağlı kusurlar olarak gördün. Sıradaki ders bir quiz ve aynı korumaları bu kez birbirinden ayırarak, her birini gerekçesiyle soruyor. İlk sorular karşıolgusal düşünceden ve karşılaştırılabilirlik koşulundan başlıyor, ardından bu dersin ilk adımında karşılaştığın ayrıma, bir listenin nasıl üretildiği ile kim tarafından ne zaman görülebildiği arasındaki farka geliyor.