Paralel, çapraz ve faktöriyel tasarım

Açılış sahnesi

Bir çağrı merkezinin iş sağlığı biriminde hekim, vardiya sonunda gözlerini ovuşturarak gelen çalışanların kayıtlarına bakıyor. Gün boyu ekrana bakan bu insanların çoğu akşamüstü gözlerinde kuruluk ve yanma tarif ediyor. Hekimin elinde üç soru var. İki nemlendirici damladan hangisi daha iyi? Saatte bir ekrandan uzağa bakmayı hatırlatan bir uyarı işe yarar mı? Ve damla ile hatırlatıcı birlikte kullanılırsa etkileri toplanır mı, yoksa biri ötekini güçlendirir mi?

Üç soru üç ayrı çalışma gibi görünüyor, ama değil. İlk soru için aynı kişiye iki damlayı sırayla verip onu kendi kontrolü yapmak mümkün ve bu, gereken kişi sayısını beşte birine indirebiliyor. İkinci ve üçüncü soru ise aynı çalışmada, dört kutulu bir tabloyla birlikte cevaplanabiliyor. Bu ders, iki grubun yan yana izlendiği alışık olduğun düzenin dışındaki iki tasarımı, her birinin hangi soruya uyduğunu ve hangi koşulda yanılttığını anlatıyor.

Bu derste ne olacak

Önce üç tasarımı tanımlayacağız. Sonra çapraz tasarımın gücünü kaba bir hesapla görecek, ardından tek koşuluna ve iki tuzağına bakacağız. Faktöriyel tasarımda dört kutuluk bir tabloyu elle çözüp ana etkileri ve etkileşimi ayıracağız. Son bölümde üç tasarım arasında seçim yapmanın kuralına ve bir çalışmayı okurken sorulacak sorulara geleceğiz.

Sıfır noktası

Kontrollü deneyin mantığını kurduğun ilk derste yapılamayan bir deneyi tarif etmiştin: aynı kişiyi aynı anda hem müdahaleli hem müdahalesiz gözlemek (L01-P02-M03-D01). Karşıolgusal durum hiçbir zaman doğrudan görülemez; paralel tasarım onun yerine benzer iki grubu koyar. Çapraz tasarım ise o imkânsız deneye başka bir yoldan yaklaşır: aynı kişiyi iki koşulda, ama aynı anda değil, sırayla gözler. Bu yaklaşımın bedeli, iki dönem arasında zamanın geçmesidir.

Mekanizma

Çapraz tasarım — güç ve koşul

Çapraz tasarımın gücü kişiler arası farkı denklemden çıkarmasından gelir. Paralel bir çalışmada iki grubu karşılaştırırken, damlanın etkisinin yanında insanların birbirinden zaten farklı olması da ölçüme karışır; biri doğuştan daha kuru gözlüdür, öteki daha az ekrana bakar. Çapraz tasarımda karşılaştırılan iki ölçüm aynı kişiye aittir, bu yüzden o farkların büyük kısmı birbirini götürür.

Bunu kaba bir hesapla gör. Kuruluk puanının 0 ile 10 arasında ölçüldüğünü ve kişiler arasındaki standart sapmanın 2 puan olduğunu varsay. İki damla arasındaki farkı 0,3 puanlık bir standart hatayla tahmin etmek istiyorsun. Paralel tasarımda kol başına gereken kişi sayısı 2 × (2 ÷ 0,3)² ≈ 89, yani toplam yaklaşık 178 kişi. Aynı kişinin iki dönemdeki puanları birbirine güçlü biçimde bağlıysa, kişi içi farkın standart sapması yaklaşık 1,8 puana iner ve çapraz tasarımda gereken kişi sayısı (1,8 ÷ 0,3)² = 36 olur. Yaklaşık beşte biri; kazanç, kişilerin birbirinden farkının artık karşılaştırmaya karışmamasından geliyor. Ama bu kazancın tek ve keskin bir koşulu var.

Koşul tasarımın nerede kullanılabileceğini doğrudan belirler. Kararlı seyirli, dalgalanmayan durumlar, etkisi hızlı başlayıp hızlı biten müdahaleler ve belirti kontrolüne yönelik yaklaşımlar ona uyar; nemlendirici damla bu türe iyi bir örnek, çünkü bırakıldığında etkisi kısa sürede kaybolur. Kalıcı sonuç üreten müdahaleler, iyileşme ya da kötüleşme yönünde ilerleyen durumlar ve öğrenme içeren her şey ise uymaz. Çalışanlara göz kapağı bakımını öğreten bir eğitim çapraz tasarımla sınanamaz: ikinci dönemde "eğitim yok" koluna geçen kişi öğrendiğini unutmaz.

İki tuzak

Koşul sağlansa bile iki tuzak kalır. Birincisi, birinci dönemin ikinci döneme sızmasıdır. İki damla karşılaştırmasında bile bu mümkündür, çünkü bir damlanın göz yüzeyinde bıraktığı etki bırakıldığı anda kaybolmayabilir.

Çözümü, iki dönem arasında hiçbir müdahalenin uygulanmadığı bir arınma dönemi koymaktır. Bu sürenin uzunluğu keyfi seçilmez; etkinin ne kadar sürdüğüne dair biyolojik bilgiden gelir ve gerekçesiz seçilirse yetersiz kalabilir. Taşımayı denetlemenin iki yolu var. Etkinin büyüklüğünün sıraya göre değişip değişmediğine, yani dönem ile kol arasındaki etkileşime bakılabilir. Ya da yalnız birinci dönem analiz edilir; bu tasarımı paralel bir çalışmaya indirger ve gücün büyük kısmını kaybettirir, ama taşımadan arınmış bir tahmin verir.

İkinci tuzak zamanın kendisidir. Göz kuruluğu mevsimle değişebilir, kışın kaloriferli ofislerde artabilir; kişi çalışmaya alışabilir ya da doğal seyir ilerleyebilir. Sıranın rastgele belirlenmesi bu dönem etkisini iki sıra arasında dengeler ve bu yüzden sıra randomizasyonu zorunludur. Bir de ayrılma sorunu var: paralel tasarımda ayrılan bir kişi tek bir ölçüm götürür, çapraz tasarımda ise ikinci dönemde ayrılan kişi karşılaştırmanın iki yarısını birden götürür.

Kartın son cümlesi okur için pratik bir kural veriyor. Taşıma çoğu zaman sınanamadığına göre, okurun elindeki en iyi işaret arınma süresinin neden o uzunlukta seçildiğinin yazılıp yazılmadığıdır.

Faktöriyel tasarım

Hekimin ikinci ve üçüncü sorusuna dönelim. Damla (A) ve hatırlatıcı (B) iki ayrı müdahale; faktöriyel tasarımda her çalışan iki kez kura çeker, bir kez damla için, bir kez hatırlatıcı için. Böylece dört hücre oluşur ve her hücrede, diyelim, elli kişi olur. Damlanın etkisi hatırlatıcıyı alan ve almayanların tamamı üzerinden, yüze karşı yüz kişiyle hesaplanır; hatırlatıcının etkisi de öyle. İki soruyu ayrı ayrı iki paralel çalışmayla aynı kesinlikte cevaplamak 2 × 200 = 400 kişi isterdi; faktöriyel tasarım aynı işi iki yüz kişiyle yapar.

Kurgu sonuçlar, kuruluk puanındaki ortalama iyileşme olarak şöyle olsun: hiçbirini almayan hücrede 0, yalnız damlada 2, yalnız hatırlatıcıda 3, ikisini birden alanlarda 5 puan. Damlanın ana etkisi, hatırlatıcının iki düzeyinde ayrı ayrı bakılıp ortalaması alınarak bulunur: ((2 − 0) + (5 − 3)) ÷ 2 = 2 puan. Hatırlatıcının ana etkisi aynı yolla ((3 − 0) + (5 − 2)) ÷ 2 = 3 puan. Etkileşim ise damlanın etkisinin hatırlatıcı varken ve yokken farkıdır: (5 − 3) − (2 − 0) = 0. Etkiler toplanıyor; 2 + 3 = 5 ve birlikte kullanım tam olarak bunu veriyor. Ana etkileri bu kadar sade okuyabilmemiz ise bir varsayıma dayanır.

Şimdi dördüncü hücreyi 5 yerine 8 yap; ekrandan uzağa bakan göz, damlanın sağladığı nemden daha çok yararlanıyor olsun. Damlanın ana etkisi ((2 − 0) + (8 − 3)) ÷ 2 = 3,5, hatırlatıcınınki ((3 − 0) + (8 − 2)) ÷ 2 = 4,5 puana çıkar ve etkileşim (8 − 3) − (2 − 0) = 3 puan olur. Burada "damlanın etkisi 3,5 puan" cümlesi kimseyi tarif etmiyor: hatırlatıcısı olmayan biri için damla 2, olan biri için 5 puan getiriyor. Etkileşim varken ana etki, iki farklı gerçeğin ortalamasıdır.

Bu değerli bilginin bir bedeli var: etkileşimi saptamak, ana etkileri saptamaktan çok daha büyük örneklem gerektirir. Yukarıdaki hesapta ana etki iki hücre farkının ortalamasıydı, etkileşim ise iki farkın farkı; farkın farkı, dört hücrenin gürültüsünü tek bir sayıda toplar ve standart hatası kabaca iki katına çıkar. Bir faktöriyel çalışma "etkileşim bulunmadı" diyorsa bu çoğu zaman "etkileşimi bulacak güçte değildi" anlamına gelir.

Kartın nüfus satırı alt grup analizlerini de sayıyor ve bu bir rastlantı değil. "Bu müdahale kadınlarda işe yarıyor, erkeklerde yaramıyor" türünden her cümle aslında bir etkileşim iddiasıdır: müdahalenin etkisinin cinsiyete göre değiştiğini söyler. Aynı güç sorunu orada da geçerlidir ve aynı ihtiyatı ister.

Üç tasarımı seçme kuralı

Paralel tasarım varsayılan seçimdir. Müdahalenin etkisi kalıcıysa, durum ilerleyiciyse ya da müdahale öğrenme içeriyorsa tek seçenektir; hekimin göz kapağı bakımı eğitimi ancak böyle sınanabilir. Çapraz tasarım durum kararlı, etki geri dönebilir ve katılımcı bulmak zor olduğunda öne çıkar; iki damlanın karşılaştırılması tam bu türden bir sorudur, yeter ki arınma dönemi gerekçelendirilsin.

Faktöriyel tasarım ise iki müdahalenin aynı çalışmada sınanacağı durumlar içindir ve kullanım amacına göre iki ayrı biçim alır. Etkileşim beklenmiyorsa verimli bir yoldur: iki soru, bir örneklem. Etkileşim asıl soruysa, hekimin "birlikte daha mı iyi?" sorusunda olduğu gibi, örneklem baştan etkileşime göre boyutlandırılmalıdır; ana etkiye göre boyutlandırılmış bir çalışmadan etkileşim hakkında cevap beklemek, onun kaldıramayacağı bir yükü ona yüklemektir.

Klinik gerçeklik

Bir çalışmanın tasarımını okurken önce hangi düzenlemenin kullanıldığına bak; özette çoğu zaman tek bir kelimeyle geçer. Çapraz bir tasarımsa sorular bir zincir oluşturur. Durum kararlı ve etki geri dönebilir mi? İki dönem arasında bir arınma dönemi var mı ve süresi gerekçelendirilmiş mi? Sıra randomize edilmiş mi ve dönem etkisi bildirilmiş mi?

Faktöriyel bir tasarımsa soru tektir, ama ağırdır: etkileşim analizi yapılmış mı ve çalışma onun için boyutlandırılmış mı? Bu soruların en hızlı ayıklayanı geri dönebilirliktir. Öğrenme içeren ya da kalıcı etki bırakan bir müdahale çapraz tasarımla sınanmışsa, arınma dönemi ne kadar uzun olursa olsun sonuç yorumlanamaz ve okumanın geri kalanı bu yüzden gereksizleşir.

Kendini sına

1. Üç tasarımı kendi cümlelerinle tanımla.
2. Çapraz tasarımın gücü nereden geliyor? Dersteki kaba hesapta kişi sayısı neden 178'den 36'ya indi?
3. Geri dönebilirlik koşulunu yaz. Hangi müdahaleler bu koşulu sağlamaz? Çağrı merkezinden bir örnek ver.
4. Taşıma etkisi nedir? İki denetim yolunu açıkla.
5. Çapraz tasarımda sıra neden randomize edilmeli?
6. Dört hücre 0, 1, 4 ve 5 puan olsaydı iki ana etki ve etkileşim kaç çıkardı?
7. Dördüncü hücre 8 iken "damlanın etkisi 3,5 puan" cümlesi neden kimseyi tarif etmiyor?
8. "Etkileşim bulunmadı" ifadesi neden dikkatle okunmalı? Üç tasarımı seçme kuralını özetle.

Bir sonraki derse köprü

Bu derste "etkileşim bulunmadı" cümlesinin çoğu zaman "bulacak güçte değildi" demek olduğunu gördün. Aynı sorun bütün bir çalışmanın ana sonucunda da çıkar: "iki yaklaşım arasında fark bulunmadı" cümlesi, okuyana göre "yeni yöntem de en az o kadar iyi" ya da "yeni yöntem işe yaramadı" diye aktarılır. Sıradaki ders bu cümlenin anlamının çalışmanın baştan neyi göstermeye çalıştığına bağlı olduğunu anlatıyor. Üstünlük, eşdeğerlik ve aşağı kalmama çalışmalarını ayıracak, "fark yok" ile "fark gösterilemedi" arasındaki ayrımı istatistiksel güç kavramı üzerinden kuracaksın.