İstatistiksel/klinik anlamlılık

Açılış sahnesi

Bir öğretmen, stüdyosunun sosyal medya hesabında paylaşılmak üzere hazırlanan bir metni okuyor: "Binlerce kişiyle yapılan büyük bir araştırma, yoganın ağrıyı anlamlı ölçüde azalttığını gösterdi." Metni hazırlayan meslektaşı, makalenin özetinden bir cümle almış: "Yoga grubunda ağrı puanları kontrol grubuna göre istatistiksel olarak anlamlı biçimde düştü."

Öğretmen makaleyi açıyor. Ağrı sıfırdan ona kadar bir ölçekle ölçülmüş. Yoga grubunun ortalaması altıdan beş virgül sekize inmiş; kontrol grubunda ise hemen hemen aynı kalmış. Fark gerçek görünüyor: çalışma çok büyük, sonuç tesadüf gibi durmuyor. Ama öğretmen kendi bedenini düşünüyor: ağrısı altıdan beş virgül sekize inen bir kişi, bunu fark eder mi?

Öğretmen meslektaşına yazıyor: "Anlamlı sözcüğü burada ne anlama geliyor? Bizim öğrencilerimiz için mi, yoksa istatistik için mi?"

Bu derste ne olacak

Bu derste bir araştırma makalesinde belki de en sık yanlış anlaşılan sözcüğe bakıyoruz: anlamlı. Önce istatistiksel anlamlılığın ne olduğunu, p değerinin ne söylediğini ve ne söylemediğini göreceğiz. Sonra istatistikçilerin kendilerinin bu kavramın kullanımına yönelttiği eleştirilere ve sıfır virgül sıfır beş eşiğinin bir kural değil, bir alışkanlık olduğuna bakacağız. Ardından istatistiksel anlamlılıktan ayrı, bir farkın bir kişinin gündelik yaşamında ne kadar önemli olduğunu soran klinik anlamlılığa ve bu önemi ölçmeye çalışan en küçük önemli fark kavramına geçeceğiz. En sonda "önemli" bir farkın kim tarafından tanımlandığını soracağız; burada ten tonu, bir eşiğin bütün öğrenciler için aynı anlamı taşıyıp taşımadığını gösterecek.

Sıfır noktası

Y5.76'da güç ve iki tür hata üzerinde dururken bir uyarı bırakmıştık: devasa bir örneklem, hiç kimsenin hissetmeyeceği kadar ufak farkları bile ayırt edebilir. Y5.72'de ise farkın boyunu ölçen etki büyüklüğü kavramıyla tanışmıştık.

Bu ders o ayrımı açıyor. Bir araştırma makalesinde "anlamlı" sözcüğü çoğu zaman gündelik dildeki anlamını taşımaz: "önemli" ya da "büyük" demek değildir, yalnızca "tesadüfe bağlanması güç" demektir. Açılış sahnesindeki metin, bu iki anlamı birbirine karıştırmıştı.

Mekanizma

İstatistiksel anlamlılık ne söyler?

İstatistiksel anlamlılık maddesi, bir sonucun, sıfır hipotezi doğru olsaydı en az o kadar uç bir sonucun çok seyrek görüleceği durumda istatistiksel olarak anlamlı olduğunu yazıyor. Madde, p değerinin, sıfır hipotezi doğruyken en az gözlenen kadar uç bir sonuç elde etme olasılığı olduğunu ve sonuç, p değeri çalışmanın önceden seçtiği anlamlılık düzeyinden küçük ya da ona eşit olduğunda anlamlı sayıldığını açıklıyor. Madde, anlamlılık düzeyinin veri toplanmadan önce seçildiğini ve alana göre genellikle yüzde beş ya da çok daha düşük bir değere konduğunu ekliyor.

Klinik anlamlılık maddesi, istatistiksel anlamlılığın ne söylemediğini açıkça yazıyor: iki kol arasındaki bir farkın anlamlı çıkması, o farkın büyüklüğü ya da klinik önemi hakkında hiçbir şey söylemez. Madde, anlamlı sonuçların sıfır hipotezini reddetmeyi desteklediğini ama onun yanlış olduğunu kanıtlamadığını; anlamlı olmayan sonuçların da sıfır hipotezinin doğru olduğunu kanıtlamadığını ekliyor.

Bir eşik, bir alışkanlık

İstatistiksel anlamlılık maddesi, sıfır virgül sıfır beş eşiğinin tarihini veriyor: Ronald Fisher bin dokuz yüz yirmi beşte, sıfır hipotezini reddetmek için yirmide bir olasılığı uygun bir kesme noktası olarak önermişti. Madde, Fisher'ın bu değerin sabit kalmasını amaçlamadığını ve bin dokuz yüz elli altıda anlamlılık düzeylerinin özel koşullara göre belirlenmesini önerdiğini de ekliyor. P değerlerinin yanlış kullanımı maddesi, sıfır virgül sıfır beş anlamlılık düzeyinin yalnızca bir gelenek olduğunu, anlamlı ile anlamlı olmayan arasındaki sınır olarak kullanılmasının genel bir bilimsel gerekçeye dayanmadığını yazıyor.

Madde, istatistikçilerin kendi eleştirilerini de aktarıyor. Amerikan İstatistik Derneği iki bin on altıda p değerleri üzerine bir açıklama yayımlamış ve "istatistiksel anlamlılığın", genellikle p değerinin sıfır virgül sıfır beşten küçük ya da eşit olması biçiminde yorumlanarak, bilimsel bir bulgu iddiası için bir izin gibi yaygın kullanımının bilimsel süreci önemli ölçüde çarpıttığını söylemiş. Madde, iki bin on dokuzda sekiz yüzü aşkın istatistikçi ve bilim insanının "istatistiksel anlamlılık" teriminin bilimde terk edilmesi çağrısında bulunan bir mesajı imzaladığını ve derneğin bu terimin kullanımının tamamen bırakılması gerektiğini ilan eden bir başyazı yayımladığını da aktarıyor.

Bir öğrencinin fark edeceği değişiklik

Klinik anlamlılık maddesi, bu kavramı bir tedavi etkisinin pratik önemi olarak, yani gündelik yaşamda gerçek, somut ve fark edilebilir bir etkisi olup olmadığı olarak tanımlıyor. Bir farkın istatistiksel olarak anlamlı olması, onun klinik olarak anlamlı olduğu anlamına gelmez; ve tersine, küçük bir çalışmada klinik olarak önemli bir fark istatistiksel olarak anlamlı çıkmayabilir.

En küçük önemli fark maddesi, bu soruyu ölçmeye çalışan bir kavramı anlatıyor: bir tedavi sonucundaki, bir hastanın önemli olarak tanımlayacağı ve hastanın bakımında bir değişikliğe işaret edecek en küçük değişiklik. Madde, kavramın bin dokuz yüz seksen dokuzda Jaeschke ve arkadaşları tarafından önerildiğini yazıyor. Madde, katı bir sıfır virgül sıfır beş kesme noktasının iki ciddi sonucu olabileceğini de açıklıyor: klinik olarak önemli farklar, çoğu zaman az sayıda katılımcı yüzünden, anlamlı çıkmayıp haksız biçimde göz ardı edilebilir; ve en küçük fark bile katılımcı sayısı artırılarak istatistiksel olarak anlamlı gösterilebilir.

Önemli olanı kim tanımlar?

En küçük önemli fark maddesi, bu değerin hesaplanmasında kullanılan bir yöntemi anlatıyor: çapa yöntemi. Bu yöntemde hastalara tedavinin kendileri için bir şeyleri iyileştirip iyileştirmediği sorulur ve verdikleri cevaplar ölçekteki değişimle karşılaştırılır. Madde, çapanın tedaviden önce kurulduğu bir yaklaşımın daha fazla kişisel farklılığa izin verdiğini de yazıyor: bir hasta daha fazla ağrı azalması isterken, bir başkası daha fazla işlevsel iyileşme hedefleyebilir.

Ten tonu burada, "önemli" bir farkın kim tarafından tanımlandığını sorar. Bir en küçük önemli fark değeri, onu belirleyen çalışmanın katılımcılarının cevaplarına dayanır. Bu katılımcılar belirli bir nüfustan, çoğu zaman önceki derslerde gördüğümüz gibi koyu tenli ve azınlık topluluklarının az temsil edildiği gruplardan geliyorsa, "önemli" sayılan eşik, farklı yaşam koşullarındaki, farklı işlerde çalışan ya da bakıma farklı biçimde erişen kişilerin önceliklerini yansıtmayabilir. Y5.75'te bir ölçeğin başka bir dile çevrildiğinde dilsel geçerlemeden geçmesi gerektiğini gördük; aynı soru bir eşik için de sorulabilir: bu eşik kimin deneyiminden çıkarıldı?

Örneklerden okuma

Usta katmanı

"Anlamlı" sözcüğü bir araştırma makalesinde gündelik anlamını taşımaz. İstatistiksel anlamlılık, bir farkın tesadüfe bağlanmasının güç olduğunu söyler; farkın büyük ya da önemli olduğunu söylemez. Çok büyük bir çalışma çok küçük bir farkı anlamlı gösterebilir; küçük bir çalışma önemli bir farkı anlamsız gösterebilir.

Usta bir öğretmen bir p değerini bir hipotezin doğru olma olasılığı sanmaz ve sıfır virgül sıfır beş eşiğini doğal bir sınır saymaz; istatistikçilerin kendilerinin bu eşiğin katı kullanımını eleştirdiğini bilir. Bir makalede "anlamlı" sözcüğünü gördüğünde önce farkın kendisine, sonra bu farkın bir kişinin fark edeceği büyüklükte olup olmadığına bakar.

Ve usta bir öğretmen, "önemli" olanın kişiden kişiye değiştiğini bilir. Bir en küçük önemli fark değerinin kimin deneyiminden çıkarıldığını sorar; bir ortalamanın, farklı yaşamlardaki öğrencilerin önceliklerini gizleyebileceğini hesaba katar ve bir öğrenciye onun için neyin anlamlı bir değişiklik olacağını doğrudan sorar.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

İstatistiksel anlamlılık, bir farkın tesadüfe bağlanmasının güç olduğunu söyler; büyük ya da önemli olduğunu söylemez.

P değeri bir hipotezin doğru olma olasılığı değildir; sıfır virgül sıfır beş bir gelenektir, doğal bir sınır değildir.

Çok büyük bir çalışma önemsiz bir farkı anlamlı, küçük bir çalışma önemli bir farkı anlamsız gösterebilir.

Klinik anlamlılık, bir farkın bir kişinin gündelik yaşamında fark edilip edilmediğini sorar.

"Önemli" olan kişiden kişiye değişir; bir eşiğin kimin deneyiminden çıkarıldığı sorulur.

Sonraki derse köprü

Bu derste bir farkın anlamlı ve önemli olmasının iki ayrı soru olduğunu gördük; ve istatistikçilerin tek bir eşiğe bağlı kalmak yerine farkın büyüklüğünü ve belirsizliğini birlikte raporlamayı önerdiğini. Bu belirsizliği göstermenin en yaygın yolu, bir çalışmanın bulduğu tek bir sayının etrafına çizilen bir aralıktır.

Sıradaki dersin konusu bu aralık: güven aralığı.

Soru şu: bir çalışmanın bulduğu bir etkinin etrafındaki aralık bir öğretmene ne söyler, aralığın genişliği neyi gösterir ve bir aralık hem çok küçük hem de önemli bir etkiyi kapsadığında sonuç nasıl okunur?