Kayıp katılımcı

Açılış sahnesi

Bir stüdyo, on iki haftalık bir "sırt sağlığı" programına kırk öğrenciyle başlıyor. Program bitiminde bir değerlendirme yapılıyor ve sonuçlar etkileyici: programı tamamlayan öğrencilerin neredeyse hepsi sırt ağrısının belirgin biçimde azaldığını söylüyor. Stüdyo bu sonucu tanıtım broşürüne yazmaya hazırlanıyor.

Programı yürüten öğretmen broşürün taslağını okurken bir rakama takılıyor: değerlendirmeyi dolduran yirmi iki kişi. Kırk kişiyle başlamışlardı. Öteki on sekiz kişi ne oldu?

Öğretmen kayıtlara bakıyor. Ayrılanların bir kısmı ilk haftalarda ağrılarının arttığını söyleyip bırakmış; bir kısmı iş saatleri yüzünden gelemez olmuş; birkaçına ise hiç ulaşılamamış. Öğretmen, broşürdeki "neredeyse herkes iyileşti" cümlesinin aslında "kalanların neredeyse hepsi iyileşti" demek olduğunu fark ediyor; ve kalanların kim olduğunun, sonucu tamamen değiştirebileceğini.

Bu derste ne olacak

Bu derste bir çalışmanın başındaki katılımcılar ile sonundaki katılımcılar arasındaki farka bakıyoruz. Önce katılımcı kaybının ne olduğunu ve neden hemen her çalışmada görüldüğünü göreceğiz. Sonra kaybın rastgele olup olmadığının neden bu kadar önemli olduğunu, eksik verinin türlerini tartışacağız. Ardından bir randomize çalışmanın kaybı nasıl ele alabileceğine, tedavi niyeti analizine ve protokole uygun analize geçeceğiz. En sonda eksik verinin nasıl doldurulduğuna ve kimin ayrıldığına bakacağız; burada ten tonu, bir çalışmadan ayrılmanın kimin için daha kolay ya da daha zorunlu olduğunu ve bunun sonucu nasıl eğebileceğini gösterecek.

Sıfır noktası

Kuranın gücünü Y5.70'te konuşurken bir analiz yönteminin adını geçip gitmiştik; bu ders o adın arkasını açıyor. Y5.76'da ise bir çalışmanın hedeflediği güce, katılımcıların bir kısmı çalışmayı bıraktığında ulaşamayabileceğini görmüştük.

Kura, bir çalışmanın başındaki dengeyi kurar. Ama o denge, çalışma boyunca korunmak zorundadır. Katılımcılar gruplardan farklı oranlarda ve farklı nedenlerle ayrıldığında, kuranın kurduğu denge sessizce bozulabilir; ve çalışmanın sonunda karşılaştırılan gruplar, başlangıçta kurayla kurulan gruplar olmaktan çıkar.

Mekanizma

Kimler kaldı?

Kayıp maddesi, bu kavramı bir deney sırasında katılımcı kaybını anlatan oranlar olarak tanımlıyor ve yüksek kayıp oranlarının boylamsal çalışmalarda görüldüğünü yazıyor. Eksik veri maddesi de katılımcı kaybını, bir ölçümün belirli bir süre sonra tekrarlandığı boylamsal çalışmalarda ortaya çıkabilen bir eksiklik türü olarak anlatıyor: katılımcılar test bitmeden ayrıldığında bir ya da daha fazla ölçüm eksik kalır.

Bir yoga programında kayıp neredeyse kaçınılmazdır: öğrenciler taşınır, işleri değişir, hastalanır, zamanları kalmaz. Ama asıl soru, kaybın ne kadar olduğundan çok, kimlerin ve neden ayrıldığıdır. Açılış sahnesindeki programda ayrılanların bir kısmı, ağrıları arttığı için bırakmıştı; kalanlar ise programdan yarar görenlerdi. Yalnızca kalanlara bakan bir değerlendirme, programın zarar gördüğü kişileri hiç göremezdi.

Rastgele mi, değil mi?

Eksik veri maddesi, verilerin neden eksik olduğunu anlamanın kalan verileri doğru ele almak için önemli olduğunu yazıyor. Madde üç tür eksiklik sıralıyor. Tamamen rastgele eksiklikte, bir verinin eksik olmasına yol açan olaylar gözlenebilen değişkenlerden de ilgilenilen bilinmeyen değerlerden de bağımsızdır; bu durumda veri örneği muhtemelen hâlâ nüfusu temsil eder. Rastgele eksiklikte eksiklik rastgele değildir, ama tam bilgisi bulunan değişkenlerle tamamen açıklanabilir. Rastgele olmayan eksiklikte ise eksik olan değişkenin değeri, eksik olmasının nedeniyle ilişkilidir; madde örnek olarak erkeklerin depresyon düzeyleri yüzünden bir depresyon anketini doldurmamasını veriyor.

Madde, verilerin sistematik biçimde eksik olduğu durumda analizin yanlı olabileceğini ve bu yüzden yöntembilimcilerin araştırmacılara çalışmalarını eksik değerleri en aza indirecek biçimde tasarlamalarını öğütlediğini yazıyor. Madde, rastgele eksikliğin istatistiksel olarak doğrulanmasının imkânsız olduğunu, bu yüzden onun makul olup olmadığına ancak konunun kendisinden bakılarak karar verilebileceğini de ekliyor.

Kurayla atandığı yerde analiz

Tedavi niyeti analizi maddesi, randomize bir çalışmanın sonuçlarının, sonradan alınan tedaviye göre değil, ilk atamaya göre çözümlenmesini anlatıyor. Madde, bu analizin gruplar arasında yanlı olmayan karşılaştırmalar sağladığını ve rastgele atamayı bozabilecek grup değiştirme ve ayrılma etkilerinden kaçınmak için yapıldığını yazıyor. Madde, bu ilkenin bin dokuz yüz altmışlarda başladığından beri kontrollü klinik çalışmaların analizi için geniş kabul gördüğünü ekliyor.

Madde bunun nedenini açık bir örnekle veriyor: daha dirençli ya da ciddi sorunları olan kişiler çalışmadan daha yüksek oranda ayrılıyorsa, yalnızca çalışmayı bitirenlerin önceki ve sonraki durumu karşılaştırıldığında, tamamen etkisiz bir tedavi bile yarar sağlıyormuş gibi görünebilir.

Klinik çalışmaların analizi maddesi, bunun karşısındaki yaklaşımı anlatıyor: analizin yalnızca uygunluk, girişime bağlılık ve sonuç değerlendirmesi bakımından protokolü yerine getiren katılımcılarla sınırlanması. Madde, bu protokole uygun analizin, incelenen girişimin etkisini ortaya koymak için bir "en iyi senaryo" temsil ettiğini yazıyor.

Eksik veriyi doldurmak ve kimin ayrıldığı

Bir tedavi niyeti analizi yapmak için ayrılan katılımcıların sonuçlarına ihtiyaç vardır; ama bu sonuçlar çoğu zaman eksiktir. Klinik çalışmaların analizi maddesi, eksik verileri doldurmanın yaygın bir yöntemini anlatıyor: son gözlemin ileri taşınması, yani bir katılımcının son ölçümünün, ayrıldıktan sonraki bütün ölçümler için geçerli sayılması. Madde, son araştırmaların bu yöntemin tedavi etkisinin yanlı bir tahminini verdiğini ve sonucun değişkenliğini olduğundan küçük gösterdiğini yazıyor; Ulusal Bilimler Akademisi'nin bu tür tekli doldurma yöntemlerinin, gerekçesi olmadan, eksik verinin birincil ele alınış biçimi olarak kullanılmaması gerektiğini önerdiğini de aktarıyor.

Ten tonu burada, bir çalışmadan ayrılmanın kimin için daha kolay ya da daha zorunlu olduğunu gösterir. Y5.77'de, sosyoekonomik koşulların bakıma ulaşmayı nasıl etkilediğini Irk ve sağlık maddesinden aktarmıştık. Aynı koşullar bir programı sürdürmeyi de etkiler: haftada iki kez bir salona gelmek, esnek bir iş saati, bir ulaşım olanağı ve bir çocuk bakım düzeni ister. Bunlara erişimi kısıtlı olan kişiler, ve bu kişiler arasında azınlık kökenli ve koyu tenli katılımcılar sık yer alır, programdan yarar görmedikleri için değil, onu sürdüremedikleri için ayrılabilir. Böyle bir durumda yalnızca kalanlara bakan bir sonuç, hem programın etkisini hem de programın kimin için uygulanabilir olduğunu yanlış gösterebilir.

Örneklerden okuma

Usta katmanı

Bir çalışmanın sonucu, onu tamamlayanlar kadar ayrılanlar tarafından da biçimlendirilir. Kayıp rastgele olduğunda sonuç çoğu zaman güvenilir kalır; ama kayıp tam da ölçülen sonuçla ilişkili olduğunda, örneğin programdan yarar görmeyenler ayrıldığında, yalnızca kalanlara bakan bir analiz etkiyi olduğundan büyük gösterir.

Usta bir öğretmen bir makalede önce başlangıçtaki ve sondaki katılımcı sayılarını karşılaştırır, katılımcı akış şemasına bakar ve ayrılma nedenlerinin raporlanıp raporlanmadığını arar. Tedavi niyeti analizini, bir programı herkese önerdiğinde ne olacağının daha gerçekçi bir tahmini olarak okur; protokole uygun analizi ise en iyi senaryo olarak. İkisi arasındaki farkı, kaybın etkisinin bir işareti sayar ve eksik verinin nasıl doldurulduğuna bakar.

Usta öğretmen son olarak çalışmadan kimin ayrıldığını sorar. Erişim engelleri yüzünden ayrılanların, sıklıkla da azınlık kökenli ve koyu tenli katılımcıların, sonuçtan sessizce düşebildiğini bilir; bir programın etkisini değerlendirirken, onu kimin sürdürebildiğini de bir bulgu olarak okur.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

Bir çalışmanın sonucu, ayrılanlar tarafından da biçimlendirilir; önce başlangıç ve son sayılar karşılaştırılır.

Kaybın büyüklüğünden çok, kimlerin ve neden ayrıldığı önemlidir.

Kayıp sonuçla ilişkiliyse, yalnızca kalanlara bakan bir analiz etkiyi büyütür.

Tedavi niyeti analizi herkes için gerçekçi tahmini, protokole uygun analiz en iyi senaryoyu verir.

Erişim engelleri yüzünden ayrılanlar sonuçtan sessizce düşebilir; bir programı kimin sürdürebildiği de bir bulgudur.

Sonraki derse köprü

Bu derste bir çalışmada kalanlar ile ayrılanlar arasındaki farkı gördük. Ama kalanların aldığı program bile, kâğıt üzerinde tarif edilen program olmayabilir: öğretmenler duruşları değiştirebilir, dersleri kısaltabilir, bazı bölümleri atlayabilir.

Sıradaki dersin konusu bu uyum: müdahale sadakati.

Soru şu: bir çalışmada "yoga" adıyla verilen derslerin, protokolde yazılan programla gerçekten aynı olup olmadığı nasıl anlaşılır ve bu uyum neden bir sonucun anlamını değiştirir?