Anlamlı mı, önemli mi?

Bir an

Pazar sabahı Rıza gazetenin sağlık ekini okuyor. Son aylarda merdiven inerken dizleri sızlıyor; bu yüzden bir takviyenin ilanı gözüne takılıyor. İlanın ortasında büyük harflerle şu cümle var: "Klinik araştırmada diz ağrısını istatistiksel olarak anlamlı biçimde azalttığı kanıtlandı!" Altında küçük harflerle bir dipnot: "p<0,001".

Rıza ilanı Sevgül'e uzatıyor: "Bak, anlamlıymış. Bilimsel olarak kanıtlanmış. Alalım mı?" Sevgül ilanı okuyor ve son haftalarda öğrendiklerini hatırlıyor: Ne kadar azalttığı yazmıyor. Sıfırdan yüze kadar bir ağrı puanında on puan mı, iki puan mı?

Rıza'nın aklındaki "anlamlı" kelimesi günlük dildeki anlamıyla, yani "önemli, dikkate değer" anlamıyla duruyor. İlanı yazanın kastettiği "anlamlı" ise bambaşka bir şey olabilir. Aynı kelime, iki farklı dünyada iki farklı şeyi söylüyor.

Soru

Bir araştırmanın sonucunun "istatistiksel olarak anlamlı" olması ne anlama gelir, neyi söylemez ve bir etkinin hasta için gerçekten önemli olup olmadığını nasıl anlarız?

Nasıl işler

Bir araştırma iki grubu karşılaştırdığında, gruplar arasında bir fark çıkması neredeyse kaçınılmazdır; çünkü insanlar zaten birbirinden farklıdır ve şans her ölçümde bir pay alır. Araştırmacının ilk sorusu, bu farkın şansla açıklanıp açıklanamayacağıdır. Bunun için çoğu zaman bir hesap yapılır ve sonucunda bir sayı çıkar.

Geleneksel olarak p değeri 0,05'in altında kalırsa sonuç "istatistiksel olarak anlamlı" diye anılır. Bu eşik, uzun yıllar boyunca bir sonucun yayımlanıp yayımlanmayacağına karar veren sihirli bir çizgi gibi kullanıldı. Oysa eşiğin kendisinde özel bir şey yoktur; 0,049 ile 0,051 arasında doğa açısından hiçbir fark yoktur.

Burada kritik bir nokta var: p değeri yalnız farkın büyüklüğüne değil, çalışmanın büyüklüğüne de bağlıdır. Çok büyük bir çalışmada çok küçük bir fark bile istatistiksel olarak anlamlı çıkabilir. Beş bin kişilik bir denemede, yüz puanlık bir ağrı ölçeğinde iki puanlık bir azalma çok küçük bir p değeri verebilir. Ama iki puanı hasta muhtemelen fark etmez. Tersine, küçük bir çalışmada büyük ve gerçek bir etki, yeterli kişi olmadığı için anlamlı çıkmayabilir.

Araştırmacılar bu ikinci soruyu yanıtlamak için hastaların gerçekten fark ettiği en küçük değişikliği ölçmeye çalışır. Bir ağrı ölçeğinde kaç puanlık bir düşüşün "daha iyiyim" dedirttiği, bir yürüme testinde kaç metrelik bir artışın günlük hayata yansıdığı ayrı çalışmalarla araştırılır. Bir tedavinin ortalama etkisi bu eşiğin altında kalıyorsa, istatistiksel olarak ne kadar net olursa olsun, çoğu hasta için hissedilir bir fark yaratmayabilir. İyi bir araştırma raporu, bulduğu etkiyi bu eşikle karşılaştırır.

Bu yüzden bir sonucu okurken iki soru ayrı ayrı sorulur. Birincisi: Bu fark şansla açıklanabilir mi? İkincisi: Fark gerçekse, ne kadar büyük ve bu büyüklük benim için anlamlı mı? Rıza'nın ilanı yalnız birinci soruya cevap veriyor; ikincisini tamamen boş bırakıyor.

Kanıt

İstatistiksel anlamlılık ile klinik önem arasındaki farkı önceki derslerde gördüğümüz gerçek sonuçlarda da izleyebiliriz.

Yaygın yanılgılar

Sayılarla

Önceki derslerde gördüğümüz üç sonucu bu gözle yeniden okuyalım. Grip ilacı denemelerinde p değeri 0,0001'in altındaydı; buna karşılık kazanılan süre, az önce gördüğümüz gibi, tek bir günü bile bulmuyordu. Plasebonun hiç tedavi vermemeye göre etkisini inceleyen Cochrane derlemesinde, olayın yaşanıp yaşanmadığına bakılan ikili sonuçlarda birleşik risk oranı 0,93 bulundu, güven sınırları 0,88 ve 0,99 idi: üst ucu 1'in hemen altında olduğu için istatistiksel olarak anlamlı, ama etki küçüktü ve yazarlar plasebonun kayda değer bir klinik yararı bulunmadığı sonucuna vardı. Hormon tedavisinin büyük randomize denemesinde, yani Women's Health Initiative'de ise koroner kalp hastalığında oran 1,29 çıktı; alt sınır 1,02, üst sınır 1,63: alt ucu 1'e çok yakın, ama bir koruma bekleniyordu ve tersi çıktı.

Rıza'nın ilanına dönersek, "p<0,001" ifadesi bize yalnız şunu söylüyor: Farkın şansla açıklanması zor görünüyor. Farkın büyüklüğünü bilmeden, takviyenin Rıza'nın merdiven inerken hissettiği sızıya ne kadar dokunacağını bilemeyiz.

Herkes için aynı mı?

Bir etkinin klinik olarak önemli olup olmadığı kişiden kişiye değişir. Gripten bir gün erken iyileşmek, evde dinlenebilen genç bir yetişkin için küçük bir kazanç olabilir; ama tek başına yaşayan, bakıma muhtaç biri için ya da bir günlük iş kaybının bütçeyi sarstığı biri için daha değerli olabilir. Aynı biçimde, ağrı ölçeğinde birkaç puanlık bir azalma hafif ağrısı olan biri için önemsizken, şiddetli ağrısı olan biri için hissedilir olabilir. Yan etkilerin ağırlığı da kişiye göre değişir: bulantıya dayanıklı biri için kabul edilebilir bir bedel, mide sorunları olan biri için kabul edilemez olabilir. Bu yüzden klinik önem, istatistiksel anlamlılık gibi bir eşikle değil, hastanın durumu ve değerleriyle birlikte değerlendirilir.

Ne zaman hekime?

Merdiven inip çıkarken, çömelip kalkarken ya da uzun yürüyüşlerde artan diz ağrısı yaygındır, ama nedenini değerlendirmek için hekime başvurmak gerekir; özellikle ağrı haftalardır sürüyor, gece de devam ediyor ya da hareketi kısıtlıyorsa. Dizde şişlik, ısı artışı, kızarıklık ya da ateş eşlik ediyorsa, bir düşme ya da burkulmadan sonra diz üzerine basamıyorsan beklemeden muayene ol. Bir takviyeye başlamadan önce, özellikle kan sulandırıcı ya da başka düzenli ilaçlar kullanıyorsan, hekimine ya da eczacına danış. Bir tedavinin "anlamlı" olduğunu söyleyen bir ilanı muayeneye götürüp hekimine etkinin büyüklüğünü sormak da yerinde bir sorudur. Bacağında ani şişlik ve nefes darlığı birlikte gelişirse 112 aranmalıdır.

Kendi hayatında

Bu dersin alışkanlığı tek bir kelimeye takılmaktır: "anlamlı". Bu hafta o kelimeyi gördüğün her yerde, yanına bir büyüklük arayacaksın.

Kapanış

1. p değeri, etki olmadığını varsaydığımızda gözlenen farkı şansla görme olasılığıdır; etkinin büyüklüğünü ya da hipotezin doğru olma olasılığını söylemez.
2. İstatistiksel anlamlılık bir farkın şansla açıklanmasının zor olduğunu, klinik önem ise farkın hastanın hayatında hissedilecek kadar büyük olup olmadığını söyler; ikisi ayrı sorulardır.
3. Büyük çalışmalarda küçük farklar anlamlı, küçük çalışmalarda büyük farklar anlamsız çıkabilir; bu yüzden bir sonucun önemini her zaman etkinin büyüklüğüne bakarak değerlendirmek gerekir.

Beş soru

1. Bir denemede p değeri 0,03 bulundu. "Bu tedavinin işe yaramama olasılığı yüzde 3'tür" yorumu doğru mu?
2. Yirmi bin kişilik bir çalışmada bir ilacın tansiyonu ortalama 1 birim düşürdüğü ve sonucun anlamlı olduğu bulundu. Bu sonuç neden önemli olmayabilir?
3. Otuz kişilik bir çalışmada bir tedavi ağrıyı belirgin biçimde azaltmış görünüyor ama sonuç anlamlı değil. Bu sonuçtan tedavinin etkisiz olduğu çıkar mı?
4. Grip ilacının belirti süresini 16,8 saat kısaltması istatistiksel olarak mı, klinik olarak mı daha net bir bulgudur?
5. Rıza'nın ilanındaki "p<0,001" ifadesi ona hangi bilgiyi veriyor, hangisini vermiyor?

Yanıtlar

Hayır. p değeri, tedavinin hiç etkisi olmadığını varsaydığımızda bu kadar büyük bir farkı görme olasılığıdır. Tedavinin işe yarayıp yaramadığının olasılığı değildir; bu yaygın bir yanlış yorumdur.

Çalışma çok büyük olduğu için çok küçük bir fark bile şansla açıklanamayacak kadar net ölçülebilir. Ama tansiyonda bir birimlik düşüş, bir kişinin kalp ve damar riskini fark edilir ölçüde değiştirmeyebilir; etki gerçek ama klinik olarak küçük olabilir.

Hayır. Otuz kişi, gerçek bir etkiyi bile güvenle saptamak için az olabilir. Sonucun anlamlı çıkmaması, etkinin belirsiz kaldığını gösterir; daha büyük bir çalışmayla sınanması gerekir.

İstatistiksel olarak daha nettir: p değeri çok küçüktü. Klinik önemi ise daha tartışmalıdır; bir günün altında bir kazanç, bazı hastalar için değerli, bazıları için yan etkilerine değmeyecek kadar küçük olabilir.

İfade, farkın şansla açıklanmasının zor olduğunu söylüyor. Farkın büyüklüğünü, Rıza'nın ağrısının ne kadar azalacağını, kaç kişide fark edildiğini ve yan etkileri hiç söylemiyor.

Sonraki derse köprü

Bu derste birkaç kez bir sonucun "güven aralığından" söz ettik: 0,88'den 0,99'a, 1,02'den 1,63'e uzanan sınırlar. Bu iki sayı, tek bir p değerinden çok daha fazlasını anlatır: etkinin hangi büyüklükler arasında olabileceğini. Sıradaki derste güven aralığını nasıl okuyacağımızı ve genişliğinin bize ne söylediğini göreceğiz.