Üstünlük, eşdeğerlik ve aşağı kalmama

Açılış sahnesi

Bir hastanenin fizik tedavi biriminde omuz sertliği olan hastalar için iki program karşılaştırılmış. Birinde hasta haftada iki kez kliniğe gelip fizyoterapistle yüz yüze çalışıyor; ötekinde evde egzersiz yapıyor ve fizyoterapistle görüntülü görüşmeyle haftada bir bağlanıyor. Çalışmanın özetinde tek bir cümle var: "İki program arasında omuz işlevi bakımından anlamlı fark bulunmadı." Bir hafta sonra aynı cümle iki ayrı yerde iki ayrı biçimde dolaşıyor.

Hastanenin bülteninde "Uzaktan program en az yüz yüze kadar iyi" yazıyor. Bir hasta forumunda ise "Uzaktan program işe yaramadı, fark yokmuş" diye paylaşılıyor. İkisi de aynı cümleden çıkarıldı ve ikisi de yanlış olabilir. Çünkü "fark bulunmadı" tek başına hiçbir şey söylemiyor; ne söylediği çalışmanın baştan neyi göstermeye çalıştığına bağlı ve o bilgi yöntem bölümünde, çoğu zaman tek bir cümlede duruyor.

Bu derste ne olacak

Önce üç çalışma amacını ayıracağız ve üçünün de aynı güven aralığını nasıl başka bir soruya göre okuduğunu göreceğiz. Sonra "fark yok" ile "fark gösterilemedi" arasındaki farkı istatistiksel güç kavramıyla kuracağız. Ardından aşağı kalmama çalışmalarının en kritik kararına, marjın seçimine geleceğiz ve bir güven aralığını marja ve sıfıra göre elle okuyacağız. Son bölümde iki analiz setinin bu tasarımlarda neden ters yönde davrandığına bakacağız.

Sıfır noktası

Üçüncüsünün neden var olduğunu açılıştaki çalışma açıklıyor. Uzaktan programdan kimse yüz yüze çalışmadan daha iyi sonuç beklemiyor; beklenen, hastanın yol, izin ve ulaşım yükünden kurtulmasıdır. Yeni bir seçenek daha az yan etki taşıyabilir, daha kolay uygulanabilir, daha erişilebilir ya da daha ucuz olabilir. Bu durumlarda soru "daha iyi mi?" değil, "etkinlikten kabul edilemez ölçüde ödün vermeden bu avantajı alabiliyor muyum?" sorusudur.

Mekanizma

"Fark yok" ile "fark gösterilemedi"

Önceki derste faktöriyel tasarımı konuşurken "etkileşim bulunmadı" cümlesinin çoğu zaman "bulacak güçte değildi" demek olduğunu gördün. Aynı sorun bir çalışmanın ana sonucunda da çıkar. Bir üstünlük çalışması fark bulamadığında iki ayrı açıklama vardır: ya gerçekten fark yoktur ya da fark vardır ama çalışma onu görebilecek güçte değildir. İkincisi sanıldığından yaygındır; az katılımcı, kısa izlem, düşük olay sayısı ya da yüksek değişkenlik gerçek bir farkı görünmez kılabilir.

İki cümleyi birbirinden ayıran şey güven aralığıdır. İki kurgu çalışma düşün; ikisinde de uzaktan programla yüz yüze program arasındaki farkın tahmini +1 puan. Hastaların fark edebildiği en küçük değişim 5 puan kabul ediliyor. Küçük çalışmada aralık −6 ile +8 arasında: bu aralık hem uzaktan programın belirgin biçimde kötü olmasıyla hem belirgin biçimde iyi olmasıyla uyumlu, yani fark gösterilemedi. Büyük çalışmada aralık −0,9 ile +1,1 arasında: sıfırı yine içeriyor, ama iki yönde de 5 puanlık bir farkı dışlıyor; bu aralık gerçekten benzerlik lehine bilgi taşıyor.

Kartın notu küçük kurgu çalışmanın yayımlanmış hâlini tarif ediyor. "Negatif" diye etiketlenen çalışmaların çoğu, −6 ile +8 gibi bir aralık taşır ve bir şeyin yokluğunu değil, bir şeyin belirlenemediğini bildirir. Bu yüzden özetteki "fark bulunmadı" cümlesini okuduğunda ilk işin aralığın genişliğine bakmak olmalı.

Aşağı kalmama — marj kararı

Aşağı kalmama tasarımının tamamı tek bir sayıya dayanır. Bu sayı çalışmanın başarı çizgisidir ve sonuç ondan önce değil, ona göre okunur. Onu kimin, ne zaman ve hangi gerekçeyle koyduğu bu yüzden sonucun kendisi kadar önemlidir.

Açılıştaki çalışmanın aslında bir aşağı kalmama çalışması olduğunu ve protokolde marjın −2 puan olarak ilan edildiğini varsay; gerekçe, hastaların fark edebildiği 5 puanlık değişimin yarısından küçük bir kaybın, yol ve izin yükünden kurtulmak karşılığında kabul edilebilir sayılması. Fark "uzaktan eksi yüz yüze" olarak hesaplanıyor. Sonuçta farkın tahmini −0,35 puan ve güven aralığı −1,5 ile +0,8 arasında. Okumanın kuralı basit: aralığın alt sınırı marjın üstünde mi? −1,5, −2'den büyük; aralığın tamamı kabul edilemez kaybın dışında kalıyor ve aşağı kalmama gösterilmiş oluyor.

Aynı aralık sıfıra göre de okunur ve bu ikinci okuma başka bir soruyu cevaplar. Aralık sıfırı içeriyor, yani uzaktan programın daha iyi olduğu gösterilmedi; bir üstünlük iddiası yapılamaz. Eşdeğerlik sorulsaydı ve eşdeğerlik aralığı −2 ile +2 olarak ilan edilseydi, aralığın iki ucu da bu sınırların içinde kaldığı için eşdeğerlik de gösterilmiş olurdu. Tek bir aralık, üç soruya üç ayrı cevap veriyor: üstün değil, eşdeğer, aşağı kalmıyor.

Şimdi çalışmanın yarı kadar katılımcıyla yapıldığını düşün ve aralığın −2,5 ile +0,8 arasında çıktığını varsay. Tahmin −0,85 puana kayıyor ama asıl değişen aralığın genişliği: katılımcı yarıya inince aralık kabaca √2 ≈ 1,4 kat genişler, 2,3 puanlık genişlik 3,3 puana çıkar. Alt sınır −2,5 artık marjın altında ve aralık kabul edilemez bir kaybı dışlamıyor; aşağı kalmama gösterilemedi. Bu "uzaktan program kötü" demek değil, "kötü olmadığını gösterecek güç yoktu" demek. Güç, burada da cümlenin anlamını belirliyor.

Marjın kendisi de sonucu belirler. Dar seçilirse çalışma zorlaşır, büyük örneklem gerekir ve sonuç güçlü bir iddia taşır. Geniş seçilirse çalışma kolaylaşır, ama "aşağı kalmadı" sonucu gerçekte kabul edilemez bir etkinlik kaybını örtebilir: ikinci çalışmadaki −2,5 ile +0,8 aralığı, marj −3 seçilseydi "başarılı" sayılırdı.

Hipotez üretme ile sınamayı ayıran ders, sonucu gördükten sonra hipotez kurmanın sınamayı keşfe çevirdiğini anlatmıştı (L01-P02-M01-D06). Marj kayması aynı hatanın tek bir sayıya sıkışmış hâlidir. Veriyi gördükten sonra marjı −2'den −3'e çekmek, sonucu değiştirmez; yalnız sonucun cümlesini değiştirir.

Vakada fark "eski eksi yeni" olarak yazıldığı için marjı aşan uç üst sınır; bu derste fark "yeni eksi eski" olarak yazıldığı için bakılan uç alt sınırdı. Yön bir yazım kuralıdır, mantık aynıdır: aralığın kötü tarafındaki ucu marjla karşılaştırırsın. Bir makalede ilk bakacağın şeylerden biri de farkın hangi yönde yazıldığıdır.

Analiz seti farkı

Bu tasarımlarda ince ama önemli bir teknik ayrım daha var ve iki analiz seti arasında geçiyor.

İki set iki tasarımda ters yönde davranır. Üstünlük çalışmasında tedavi niyetine göre analiz muhafazakârdır: uyumsuzluk iki kolu birbirine yaklaştırır, farkı küçültür, bu yüzden birincil analiz odur. Aşağı kalmama çalışmasında aynı analiz muhafazakâr değildir. Açılıştaki çalışmada yüz yüze koldaki hastaların bir kısmı seanslara gelmeyi bırakıp evde kendi egzersizini yapmaya başlarsa, iki kol birbirine benzer ve "aşağı kalmadı" sonucu kolaylaşır; bu yüzden bu tasarımda iki analiz de bildirilmeli ve ikisi aynı yönü göstermelidir.

Klinik gerçeklik

"Fark bulunmadı" cümlesini duyduğunda önce çalışmanın neyi göstermeye çalıştığını sor; yöntem bölümünde tek bir cümlede yazılıdır. Amaç ile bildirilen sonuç uyuşmuyorsa, örneğin bir üstünlük çalışması "eşdeğer bulundu" diyorsa, tasarımın söyleyemeyeceği bir şey söyleniyordur. Üstünlük çalışmasıysa güven aralığının klinik olarak anlamlı bir farkı dışlayıp dışlamadığına bak.

Aşağı kalmama çalışmasıysa sorular marjda toplanır: marj ne, kim belirledi, gerekçesi ne ve protokolde önceden ilan edilmiş mi? Ardından hangi analiz setinin birincil olduğuna ve iki setin aynı yönü gösterip göstermediğine bak. Son soru bu tasarımların varlık nedenidir: etkinlikten bir miktar ödün veriliyorsa, karşılığında ne alındığı açıkça söylenmelidir.

Kendini sına

1. Üç çalışma amacını tanımla. Hangisi tek yönlüdür?
2. Aşağı kalmama tasarımı neden var? Açılıştaki çalışmada yeni programın avantajı ne?
3. "Fark yok" ile "fark gösterilemedi" ayrımını istatistiksel güç kavramıyla yaz. −6 ile +8 ve −0,9 ile +1,1 aralıkları neden farklı okunuyor?
4. Bir üstünlük çalışması eşdeğerliği gösterebilir mi?
5. Marj −2 iken −1,5 ile +0,8 aralığını üç amaca göre ayrı ayrı oku.
6. Aynı marjla −2,5 ile +0,8 aralığı ne söylüyor, ne söylemiyor? Marj −3 seçilseydi ne değişirdi?
7. Marj kayması nedir? Hangi kavramın bu tasarımdaki biçimi?
8. Tedavi niyetine göre analiz iki tasarımda neden farklı davranır? "Aşağı kalmama gösterildi" cümlesi neyi söylemez?

Bir sonraki derse köprü

Bu derste bir çalışmanın neyi göstermeye çalıştığını konuştun: daha iyi olmayı mı, benzer olmayı mı, kabul edilemez ölçüde kötü olmamayı mı. Açılıştaki çalışmada uzaktan programa katılan hastalar muhtemelen gönüllü, görüntülü görüşmeye alışkın ve yakından izlenen kişilerdi; programın hastanenin olağan hastalarında aynı sonucu verip vermeyeceği ayrı bir sorudur. Sıradaki ders o soruyu ele alıyor. Bir müdahalenin ideal koşullarda işe yarayıp yaramadığı ile günlük uygulamada işe yarayıp yaramadığı arasındaki ayrımı, etkililik ve etkinlik diye adlandıracak, açıklayıcı ve pragmatik denemeleri bu ayrım üzerinden ayıracaksın.