Kontrollü deney mantığı

Açılış sahnesi

Bir aile sağlığı merkezinde, sekiz haftalık kontrol muayenesi. Kadir Usta elli iki yaşında, yirmi yıldır bir mahalle fırınında hamur açıyor ve ilk geldiğinde haftanın yedi gecesinden beşinde sağ elindeki uyuşmayla uyanıyordu. Aile hekimi Aysun Hanım ona el bileği tünelindeki sinir sıkışması (karpal tünel sendromu) tanısı koymuş ve sabah akşam yapılacak sinir kaydırma egzersizlerini göstermişti. Bu sabah Kadir Usta son haftayı anlatıyor: uyuşma yalnız bir gece uyandırmış. Egzersiz kâğıdını masaya koyup soruyor: "Demek ki bu yaradı, değil mi?"

Aysun Hanım'ın cevabı için gereken bilgi, hiçbir zaman ortaya çıkmayacak bir bilgi. Kadir Usta aynı sekiz haftayı egzersiz yapmadan geçirseydi kaç gece uyanacaktı; Aysun Hanım'ın bunu bilmesi gerekir. Aynı adamı, aynı fırında, aynı mevsimde ikinci kez yaşatıp bu kez egzersiz yaptırmadan izlemek, yani zamanı geri sarmak mümkün değil. Bütün deneysel tasarım, o yapılamayan deneyin en iyi yaklaşığını kurma çabasıdır ve bu ders o yaklaşığın mantığını kuruyor.

Bu derste ne olacak

Önce karşıolgusal düşünmeyi kuracağız, çünkü deneysel tasarımın altındaki mantık bu. Sonra karşılaştırılabilirlik koşulunu tanımlayacak, sağlık merkezinin kaydındaki yüzde 70'lik düzelmenin neden bir etki ölçümü olmadığını ve gözlemsel bir karşılaştırmanın o koşulu neden sağlayamadığını hesaplayacağız. Ardından deneysel tasarımın dört bileşenine, kurayla atamanın aynı hastalarda neyi değiştirdiğine ve deneysel tasarımın çözemediği beş soruna geleceğiz.

Sıfır noktası

Kadir Usta'nın durumunda gerçekleşen sonuç belli: yedi geceden biri. Karşıolgusal sonuç ise egzersiz yapılmadan geçen bir sekiz haftanın sonundaki sayı ve o sayı bir, üç ya da beş olabilir. Etki, bu iki sayı arasındaki farktır. Karşıolgusal ikiye bir ise egzersizin katkısı sıfıra yakındır, beşe bir ise büyüktür. Aysun Hanım'ın elindeki tek sayı bu iki okuma arasında hiçbir seçim yapamıyor.

Bu bir ölçüm aleti eksikliği değil, bir mantık sınırı. Daha hassas bir sinir iletim testi ya da daha ayrıntılı bir gece günlüğü de onu aşamaz, çünkü eksik olan veri hiçbir zaman üretilmedi. Çıkış yolu tek kişiden gruba geçmektir: bir grubun sonucunu, ötekinin gözlenemeyen karşıolgusalı yerine koymak. Bunun işe yaraması ise bir koşula bağlı.

Bir karşılaştırmanın anlamı, karşılaştırılan iki durum arasında yalnız incelenen şeyin değişmesine bağlıdır. Nedensellik programının ilk dersinde (L01-P03-M01-D01) "korelasyon dünyanın nasıl göründüğünü, nedensellik dünyaya dokunursak ne olacağını söyler" demiştik. Karşıolgusal, o cümlenin biçimsel hâlidir: dünyaya dokunulan ve dokunulmayan iki sürüm arasındaki fark.

Mekanizma

Öncesi–sonrası: kaydın söyleyemediği

Aysun Hanım'ın aklına ilk gelen, kendi kaydı. Son bir yılda egzersiz programı verdiği 40 hastanın 28'i sekiz hafta sonra belirgin düzelme bildirmiş: 28 ÷ 40 = 0,70. Merkezin bekleme salonundaki panoya "hastalarımızın yüzde 70'i düzeliyor" yazmak kolay. Ama bu sayı, Kadir Usta'nın tek kişilik sorusunun kırk kişilik tekrarı ve aynı eksiği taşıyor: bu kırk kişi programı almasaydı kaçı düzelecekti?

Üç kaynağın üçü de bu kayıtta işliyor olabilir. Birincisi doğal seyir: bu tür şikâyetler çoğu kişide haftadan haftaya dalgalanır ve bir kısmı iş yükü azalınca kendiliğinden hafifler. İkincisi ortalamaya dönüş: insanlar hekime genellikle en kötü haftalarında gelir. Kadir Usta'nın beş gecesi onun olağan düzeyi değil, bir dalganın tepesiydi ve tepeden sonraki ölçüm, hiçbir şey yapılmasa da olağana doğru kaymaya eğilimlidir. Üçüncüsü beklenti: kendisine bir tedavi verildiğini bilen kişi uyuşmayı farklı fark eder ve farklı bildirir.

Neden gözlemsel tasarım yetmiyor

İkinci fikir, programı almayanları da saymak. Aysun Hanım'ın merkezinde program isteğe bağlı olsun ve kayıtta 100 hasta bulunsun: 50'sinin şikâyeti üç aydan yeni, 50'sininki daha eski. Egzersiz olmadan da yeni başlayanlarda sekiz haftalık düzelme oranı 0,60, eskilerde 0,20 olsun ve egzersizin hiçbir etkisi olmasın. Yeni başlayanlar tedaviye daha istekli, bu yüzden onların 35'i programı seçiyor, eskilerin ise yalnız 15'i.

Şimdi iki grubun düzelmesini sayalım. Programı seçen 50 kişiden 35 × 0,60 = 21 yeni hasta ve 15 × 0,20 = 3 eski hasta düzeliyor; toplam 24, oran 24 ÷ 50 = 0,48. Seçmeyen 50 kişiden 15 × 0,60 = 9 ve 35 × 0,20 = 7 kişi düzeliyor; toplam 16, oran 16 ÷ 50 = 0,32. Aradaki 16 puanlık fark tümüyle grupların bileşiminden doğdu, çünkü egzersizin etkisini baştan sıfır koyduk. Maruziyet grubunu kişiler kendileri seçtiğinde, seçenlerle seçmeyenler seçim nedenlerinden ötürü zaten farklıdır: şikâyetin süresi, şiddeti, işi bırakabilme imkânı, tedaviye inanç.

Yani iki grup yer değiştirilebilir değil ve birinin sonucu ötekinin karşıolgusalı yerine geçemiyor. Gözlemsel tasarımlar modülünün ikinci yarısındaki yanlılıklar, seçim, hatırlama, kayıp izlem ve karıştırma, bu tek koşulun bozulduğu yerlerin bir listesiydi. Karıştırıcı değişken dersinde bunun kısmi çözümlerini görmüştün: ölçüp düzeltmek, eşleştirmek, eğilim skoru. Hepsi ölçülmüş değişkenlerle çalışıyordu ve orada kurulan sonuç şuydu: kalan karıştırmanın kapandığı gösterilemez. Deneysel tasarım farklı bir yerden giriyor; farkı sonradan düzeltmeye çalışmıyor, oluşmasını baştan engelliyor.

Deneysel tasarımın dört bileşeni

Bir çalışmayı deneysel yapan şey tek bir özellik değil, dört özelliğin birlikte bulunmasıdır. Tanımlayıcı olanı ilki: müdahaleyi araştırmacı atar, yani kimin ne alacağına kişiler değil çalışma karar verir. İkincisi atamanın rastgele olmasıdır ve karşılaştırılabilirliği sağlayan mekanizma budur; sıradaki ders bütünüyle onu işliyor. Üçüncüsü bir karşılaştırma grubunun bulunmasıdır, karşıolgusalın yerine geçen grup; modülün üçüncü dersi o gruba ne verileceğini soruyor.

Dördüncü bileşen, sonucun atamayı bilmeyen kişilerce ölçülmesidir ve modülün körleme dersi onu ayrıntılandırıyor. Bu dördü de eksik olduğunda elde kalan şey bir vaka serisidir, tanımlayıcı tasarımlar modülünde gördüğün gibi. Aysun Hanım'ın 40 hastalık kaydı, ölçüm eklenmiş bir seridir: öncesi ve sonrası var, ama ne atama ne karşılaştırma ne de körleme var.

Randomizasyon neyi çözüyor

Şimdi aynı soruyu deneysel olarak kuralım. Aysun Hanım'ın 80 uygun hastası kurayla ikiye ayrılıyor: 40'ı egzersiz programına alınıyor, 40'ı aynı süre yalnız bilgilendirme ve bekleme listesinde kalıyor. Sekiz hafta sonra egzersiz grubunda 28 kişi düzelmiş, 28 ÷ 40 = 0,70; karşılaştırma grubunda 18 kişi, 18 ÷ 40 = 0,45. Fark 0,70 − 0,45 = 0,25, yani egzersizin katkısı 25 puan.

Asıl öğretici olan, karşılaştırma grubunun oranını egzersiz grubuna uygulamak. Kurayla oluşmuş iki grup yer değiştirilebilir olduğu için, egzersiz grubundaki 40 kişiden 40 × 0,45 = 18'inin egzersiz olmadan da düzeleceğini tahmin edebiliyoruz. Düzelen 28 kişiden egzersize atfedilebilecek fazlalık 28 − 18 = 10 kişi. Panodaki yüzde 70'lik tablonun yalnız 10 ÷ 28 ≈ 0,36'sı, yani üçte birden biraz fazlası egzersizin; geri kalanı doğal seyir, ortalamaya dönüş ve beklentiydi.

Randomizasyon bunu bir cümlede şöyle yapar: grup atamasını kişiyle ilgili hiçbir şeye bağlı olmaktan çıkarır. Bilinen karıştırıcılar dağılır; kurayla ayrılan 100 kişilik kayıtta her kolun 25 yeni ve 25 eski hasta taşıması beklenir ve iki kolun kendiliğinden düzelme oranı da (25 × 0,60 + 25 × 0,20) ÷ 50 = 0,40'ta eşitlenir. Asıl güç bilinmeyen karıştırıcılardadır: kimsenin aklına gelmemiş bir değişken bile, atama şansa bağlıysa gruplara sistematik olarak farklı düşmez. Böylece fark ölçülebilir hâle gelir. Gruplar arasındaki fark artık yalnız iki kaynaktan gelebilir, müdahaleden ya da şanstan; istatistik ikincisini niceler, birincisi zaten tasarımla ayrılmıştır.

"Her kolun 25 yeni hasta taşıması beklenir" cümlesindeki "beklenir" sözcüğü önemli. Kura bir kolda 29, ötekinde 21 yeni hasta da çıkarabilir ve bu, randomizasyonun bozulduğu anlamına gelmez. Bu ayrım sıradaki derste ayrıntılanacak ve kısaca şöyle özetlenir: dengesizlik olabilir, yanlılık olamaz.

Neyi çözemiyor

Modülün geri kalanı büyük ölçüde bu sınırların üzerine kurulu. Randomizasyon doğru uygulanmazsa ya da bir sonraki atama önceden sızarsa avantaj kaybolur; atama rastgele olsa bile kimin ne aldığını bilmek sonucu etkileyebilir. Kayıp izlem burada da geçerlidir: kurayla eşitlenen gruplar, çalışma sürerken farklı oranlarda ayrılırsa yeniden ayrışır. Egzersiz grubundan şikâyeti geçmeyenler bıraksaydı, kalanların oranı olduğundan iyi görünürdü.

Dördüncü sınır dış geçerliliktir. Randomize çalışmalar seçilmiş katılımcılarla yürütülür ve bulgular başka bir nüfusa taşınırken daralır; modülün pragmatik ve açıklayıcı deneme dersi bu gerilimi işliyor. Beşinci sınır soru türüdür. Zararlı olabilecek bir maruziyet atanamaz, nadir sonuçlar için gereken örneklem çoğu zaman toplanamaz ve on yıllar sonra ortaya çıkan etkiler bir deneyin süresine sığmaz. Gözlemsel tasarımlar modülünün kapanışındaki denge notu tam da buydu.

Klinik gerçeklik

Bir müdahale iddiasıyla karşılaştığında ilk ayrım üç sorudan geçer. Atamayı kim yaptı, araştırma mı yoksa kişilerin kendisi mi? Bir karşılaştırma grubu var mı ve aynı dönemde mi izlendi? Yoksa yalnız bir öncesi–sonrası mı bildiriliyor? Üçüncü soru en hızlı ayıklayıcıdır, çünkü kontrol grubu olmayan bir "iyileşme" bildirimi etkinlik sorusuna cevap vermez.

Kadir Usta'ya dönersek, Aysun Hanım'ın dürüst cevabı ne "evet" ne "hayır". Uyuşmanın beşten bire inmesi gerçek ve Kadir Usta için değerli, ama o düşüşün ne kadarının egzersizden geldiğini tek bir hastanın seyri söyleyemez. Bunu söyleyebilecek olan, kurayla ayrılmış iki grubun farkıdır; o fark kurgu örneğimizde 25 puandı ve 70 puanlık görüntünün yalnız bir kısmıydı. Bir iddiayı okurken sorman gereken, "düzelenler kaç kişi?" değil, "karşılaştırılan grupta kaç kişi düzeldi?" sorusudur.

Kendini sına

1. Karşıolgusal nedir? Temel nedensel çıkarım sorununu Kadir Usta örneğiyle kendi cümlenle yaz.
2. Karşılaştırılabilirlik koşulunu tanımla. Egzersizin etkisi sıfırken gözlemsel kayıtta 0,48 ile 0,32 farkı nereden çıktı? Programı seçen 50 kişinin 25'i yeni, 25'i eski olsaydı iki oran ne olurdu?
3. Deneysel tasarımın dört bileşenini say. Aysun Hanım'ın 40 hastalık kaydında hangileri eksik?
4. Öncesi–sonrası karşılaştırması neden deneysel değildir? Üç kaynağını say ve ortalamaya dönüşü kendi örneğinle açıkla.
5. Kurayla ayrılmış grupta egzersiz kolu 0,70, karşılaştırma kolu 0,45 düzelme gösterdi. 40 kişilik egzersiz kolunda egzersize atfedilebilecek fazlalığı hesapla. Karşılaştırma kolu 0,60 düzelseydi fazlalık kaç kişi olurdu? (40 × 0,60 = 24; 28 − 24 = 4.)
6. "Dengesizlik olabilir, yanlılık olamaz" ne demek? Randomizasyonun hangi sonucu asıl güç sayılır?
7. Randomizasyonun çözemediği beş şeyi say.

Bir sonraki derse köprü

Bu derste kurayla atamanın ne yaptığını gördün: grupları, müdahale dışında her bakımdan yer değiştirilebilir kılıyor. Sıradaki ders bunun nasıl yapıldığını ve nerede sessizce bozulduğunu soruyor. Orada iki ayrı işi birbirinden ayıracaksın: rastgele bir atama listesini üretmek ile o listeyi, hasta çalışmaya alınana kadar kimsenin görmemesini sağlamak. Hastaları geliş sırasına göre dönüşümlü dağıtan bir çalışmanın neden "düzenli" olduğu hâlde rastgele sayılamadığını da o ayrım gösterecek.