Minimal önemli fark

Açılış sahnesi

Bir fizik tedavi polikliniğinde altmış iki yaşındaki Gülay Hanım, el parmaklarındaki kireçlenme için altı haftalık bir egzersiz ve gece ateli programını bitirmiş. Fizyoterapisti ona programın başında ve sonunda aynı el işlevi formunu doldurtuyor: kavanoz açmak, düğme iliklemek, anahtar çevirmek gibi yirmi soru, sonuç 0 ile 100 arasında bir puan ve yüksek puan daha iyi işlev demek. İlk formda 48, son formda 55 çıkıyor. Fark 55 − 48 = 7 puan.

Fizyoterapistin önünde iki soru var ve form yalnız birine cevap veriyor. Puan yükseldi mi? Evet, 7 puan. Gülay Hanım bu değişimi hayatında hissediyor mu? Formun kendisinde 7 puanın ne anlama geldiği yazmıyor; ölçek yalnız bir sayı üretiyor. Klinik önem dersinde eşiğin bir ölçüm değil bir karar olduğunu ve üç yerden gelebileceğini görmüştün. Bu ders o üç kaynaktan birini, durumu yaşayan kişiye sormayı, bir yönteme dönüştürüyor ve 7 puanın hangi eşiğe göre neye karşılık geldiğini elle hesaplıyor.

Bu derste ne olacak

Önce kavramı ve neden gerektiğini kuracağız. Sonra aynı el işlevi formu için eşiği iki yöntemle hesaplayacağız ve iki yöntemin neden farklı sayılar verdiğini göreceğiz; yanlarına bir de ölçüm hatası eşiğini koyacağız. Ardından yirmi kişilik kurgu bir çalışmada grup ortalaması eşiğin altında kalırken bazı kişilerin onu nasıl geçtiğini sayacağız. Son bölümde en sık yapılan üç hataya geleceğiz.

Sıfır noktası

Bu boşluk gözlem, ölçüm ve yorum dersindeki ayrıma dayanıyor: ölçüm bir sayıdır, yorum ayrı bir katmandır. El işlevi formunun 7 puanı bir ölçüm; "Gülay Hanım'ın eli daha iyi" cümlesi bir yorum. Minimal önemli fark, bu iki katman arasına bir köprü kurma girişimi ve köprünün malzemesi kişinin kendi bildirimi.

Mekanizma

Neden gerekli

Eşiğin üç kullanım alanı var ve üçü de doğrudan bir karara bağlanıyor. Birincisi bir sonucu yorumlamak: bir çalışma puan farkı bildirdiğinde, o farkın eşiği geçip geçmediği sorulur ve önceki derslerdeki güven aralığı okuması burada somut bir sayıya kavuşur. İkincisi bir çalışma tasarlamak: örneklem büyüklüğü hesabı "hangi büyüklükteki farkı görmek istiyoruz" sorusuna dayanır ve bu sayı çoğu zaman minimal önemli farktır. Üçüncüsü kişisel izlem: tek bir kişide zaman içindeki değişimin gürültü mü, gerçek bir değişim mi olduğunu ayırmak.

Üçüncü kullanım en çok Gülay Hanım'ı ilgilendiriyor. Bir değişimin onun için anlamlı sayılabilmesi iki eşiği birden aşmasına bağlı: ölçüm hatasından büyük olmalı ki gerçek olsun, fark edilebilirlik eşiğinden büyük olmalı ki hissedilsin. Aşağıdaki hesaplar bu iki eşiği ayrı ayrı kuruyor.

İki yöntem, iki sayı

İlk yöntem çapa temelli. Ölçek puanındaki değişim, kişinin kendi bildirdiği genel değişimle karşılaştırılır. Programı bitiren kişilere "elinizi programdan öncekine göre nasıl buluyorsunuz?" diye sorulur ve "biraz daha iyi" diyenlerin ortalama puan değişimi eşik olarak alınır. Kurgu bir grupta bu cevabı veren on kişinin değişimleri 5, 7, 8, 8, 9, 9, 10, 10, 11 ve 13 puan. Toplamları 5 + 7 + 8 + 8 + 9 + 9 + 10 + 10 + 11 + 13 = 90, ortalamaları 90 ÷ 10 = 9 puan. Çapa temelli eşik 9.

Bu yöntemin gücü doğrudan deneyime bağlı olması; soru kişiden geliyor. Zayıflığı ise geriye dönük bir bildirime dayanması. Kişi altı hafta önceki elini bugünkü elinin ışığında hatırlıyor ve geri görüş yanlılığı dersinde bellek her hatırlamada yeniden kurulduğu için bu tür bildirimlerin bugünkü duruma doğru kaydığını görmüştün (L01-P03-M03-D07). Bugün iyi hisseden biri başlangıcını olduğundan kötü hatırlayabilir.

İkinci yöntem dağılım temelli. Eşik ölçeğin kendi istatistiksel özelliklerinden türetilir ve kimseye bir şey sorulmaz. Sık kullanılan bir pratik kural, başlangıç puanlarının standart sapmasının yarısını eşik almak. Kurgu formda başlangıç standart sapması 14 puan; eşik 0,5 × 14 = 7 puan. Aynı yöntem ailesinden bir de ölçüm hatası eşiği hesaplanabiliyor. Formu durumu değişmeyen kişilere iki kez doldurtunca iki ölçüm arasındaki uyum, yani test–tekrar güvenilirliği, 0,91 çıkmış. Ölçümün standart hatası standart sapma × √(1 − güvenilirlik) = 14 × √(1 − 0,91) = 14 × √0,09 = 14 × 0,3 = 4,2 puan.

Artık aynı form için üç sayı var: ölçüm hatası 4,2, dağılım temelli eşik 7, çapa temelli eşik 9. Gülay Hanım'ın 7 puanı birincisini rahatça geçiyor, ikincisinin tam üzerinde duruyor, üçüncüsünün altında kalıyor. Değişimi büyük olasılıkla gerçek; ama "biraz daha iyi" diyen kişilerin ortalama değişimine ulaşmıyor. Üç sayı farklı çünkü üçü farklı soruları cevaplıyor: ölçüm hatası "bu değişim gürültüden ayrılabilir mi?", çapa temelli eşik "bu değişim fark edilir mi?" diye soruyor.

Kartın son cümlesi pratik bir kural veriyor. Bir raporda "minimal önemli fark 7 puan" yazıyorsa, bunun bir hasta sorusundan mı yoksa bir standart sapmadan mı geldiğini bilmeden 7'yi 9'dan ayıramazsın. İkisi de meşru; ama biri "fark edildi" diye okunabilir, öbürü yalnız "ölçekteki yayılımın yarısı" diye.

Ortalama eşiğin altında, bazı kişiler üstünde

Şimdi kurgu bir çalışmaya bak. Yirmi kişi egzersiz ve atel programına, yirmi kişi yalnız bilgilendirme broşürü alan bir kontrol grubuna ayrılmış ve altı hafta sonra herkesin el işlevi puanındaki değişim yazılmış. Program grubundaki değişimler küçükten büyüğe −2, 0, 0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 6, 7, 8, 9, 10, 11, 12 ve 14. Toplamları 100, ortalamaları 100 ÷ 20 = 5 puan. Kontrol grubunda değişimlerin toplamı 40, ortalaması 40 ÷ 20 = 2 puan. İki grup arasındaki ortalama fark 5 − 2 = 3 puan; bu, çapa temelli eşiğin 3 ÷ 9 ≈ 0,33'ü, yani üçte biri.

Yalnız ortalamaya bakan biri "program kimsenin fark edeceği bir değişim yaratmıyor" diyebilir. Oysa aynı listede 9 ve üstü değişimleri saymak yirmi saniye sürüyor: program grubunda 9, 10, 11, 12 ve 14, yani beş kişi. Oranı 5 ÷ 20 = 0,25, yüzde 25. Kontrol grubunda 9 ve üstüne çıkan tek bir kişi var; 1 ÷ 20 = 0,05, yüzde 5. Programın eşiği geçen kişi oranına katkısı 25 − 5 = 20 yüzde puanı. Ortalama fark eşiğin çok altında kalırken, her beş katılımcıdan biri kadar fazla kişi fark edilebilir bir iyileşme yaşamış.

Tersi de mümkün ve aynı ölçüde önemli. Ortalama fark eşiği geçtiğinde de herkesin fark ettiği sonucu çıkmaz; aynı ortalama, herkeste orta büyüklükte bir değişimden de, birkaç kişide çok büyük ve geri kalanında sıfır bir değişimden de doğabilir. Program grubundaki listede beş kişinin değişimi 1 puan ya da altında; ortalama bu beş kişi hakkında hiçbir şey söylemiyor.

Üç sık hata

Birinci hata eşiği bağlamından koparmak. Bir nüfusta belirlenen eşik başka bir nüfusa taşınıyor ve vakadaki 9 ile 13 bunun bedelini gösteriyor: başlangıç şiddeti eşiği değiştiriyor. Ağır tablolu bir kişi için 9 puanlık bir değişim, hafif tablolu birinin 9 puanıyla aynı deneyim olmayabilir. İkinci hata grup ortalaması ile bireysel eşiği karıştırmak; yukarıdaki yirmi kişilik liste bu hatanın iki yönünü birden gösterdi.

Üçüncü hata eşiği sonradan seçmek. Sonuçlar görüldükten sonra, sonucu "önemli" gösteren eşiği seçmek kolay: ortalama 8 çıktıysa 7'yi, 10 çıktıysa 9'u anmak yeterli. Üstünlük, eşdeğerlik ve aşağı kalmama tasarımlarında gördüğün marj kayması, sınırın sonuca göre ayarlanmasıydı (L01-P02-M03-D07); burada aynı hata bir eşik sayısına sıkışıyor. Çözümü de aynı: eşik ve yöntemi protokolde, veri görülmeden ilan edilir.

Bu akademideki yeri

Minimal önemli fark, akademinin iki ilkesini birleştiriyor. Kanıt kartlarındaki "sonuç" alanı bir ölçek puanı bildirdiğinde, o puanın klinik anlamı ancak bir eşikle karşılaştırıldığında okunabiliyor. Öteki ilke hasta bildiriminin ağırlığı. Hasta deneyimi dersinde bir kişinin ne yaşadığına dair bildiriminin kendi alanında birincil ve güvenilir veri olduğunu görmüştün (L01-P01-M02-D09). Çapa temelli yöntem, tam da o bildirimi bir sayıya çeviriyor ve hasta bildiriminin karar sürecine girmesinin somut yolu bu.

Klinik gerçeklik

Bir ölçek sonucu değerlendirirken önce o ölçek için bildirilmiş bir eşik olup olmadığına bak, sonra o eşiğin hangi yöntemle ve hangi nüfusta belirlendiğine. Çapa temelli bir 9 ile dağılım temelli bir 7 aynı ağırlığı taşımaz; karşındaki kişi eşiğin belirlendiği nüfusa benzemiyorsa, 9 da yerinden oynayabilir. Ardından bildirilen sayının bir ortalama mı yoksa eşiği geçenlerin oranı mı olduğunu sor. Oran verilmemişse ve kişi başına değişimler bir ekte duruyorsa, yukarıdaki gibi saymak çoğu zaman birkaç dakika sürer.

Son iki soru eşiğin kendisini denetliyor. Ortalama farkın güven aralığının iki ucu da eşiğin aynı tarafında mı, yoksa aralık eşiğin iki yanına da uzanıyor mu? Eşik veri görülmeden önce mi ilan edildi? Gülay Hanım için de aynı sırayı izleyebilirsin: 7 puanlık değişimi ölçüm hatasının üstünde, ama ona "biraz daha iyi" dedirten tipik değişimin altında. En sağlam sonraki adım, ona doğrudan sormak ve cevabını puanın yanına yazmak.

Kendini sına

1. Minimal önemli farkı tanımla. Neyden çıkarılıyor ve ölçeğin biriminden neden çıkarılamıyor?
2. Çapa temelli eşiği on kişinin değişimlerinden yeniden hesapla. Bu yöntemin zayıflığı hangi yanlılığa bağlı?
3. Standart sapma 14 ve güvenilirlik 0,91 iken ölçümün standart hatası kaç puan? Güvenilirlik 0,75 olsaydı ne olurdu?
4. Gülay Hanım'ın 7 puanını üç eşikle ayrı ayrı yorumla.
5. Ölçülebilirlik ile fark edilebilirlik ayrımını açıkla. Hangisi genellikle daha yüksek?
6. Vakadaki 8 puanlık fark neden bir eşikle "önemli", ötekilerle "önemli değil"?
7. Yirmi kişilik çalışmada ortalama fark eşiğin kaçta kaçı? Eşiği geçenlerin oranı iki grupta ne?
8. Eşiğin sonradan seçilmesi hangi tasarımdaki hangi hatanın karşılığı? Çözümü ne?

Bir sonraki derse köprü

Bu derste bir farkın ne zaman fark edildiğini sorduk ve yirmi kişilik çalışmada sonucu bir ortalama yerine bir oranla, eşiği geçen yüzde 25 ile yüzde 5 arasındaki 20 puanlık farkla okuduk. Oranlar arasındaki böyle bir fark başka bir birime de çevrilebilir. Sıradaki ders farkı bir puanla ya da bir yüzdeyle değil, kaç kişiyle ifade ediyor: bir kişide bir sonucu değiştirmek için kaç kişiye uygulama yapmak gerektiği. O sayının neden hep bir süreyle birlikte söylenmesi gerektiğini de orada göreceksin.