İstatistiksel ve klinik anlamlılık

Açılış sahnesi

Bir programın sonuç raporunda şu cümle var: "Belirti puanlarında istatistiksel olarak anlamlı bir azalma saptanmıştır."

Cümle doğru. Hesap doğru. Dergi ciddi.

Şimdi sayıya bakalım. Kullanılan ölçek altmış üç puanlık. Programa katılanların ortalama düşüşü iki puana yakın.

İki puan.

Aynı ölçeği dolduran bir kişiye "geçen aya göre bir şey değişti mi" diye sorsan, iki puanlık bir düşüşü fark etmesi neredeyse imkânsız. Ailesi fark etmez, işi fark etmez, kendisi fark etmez.

Yani rapor iki şeyi birden söylüyor ve ikisi çelişmiyor: bu fark rastlantı değil, ve bu fark kimsenin hayatında bir şey değiştirmiyor.

Bu ders o iki cümlenin nasıl aynı anda doğru olabildiğiyle ilgili.

Bu derste ne olacak

Önce "anlamlı" kelimesinin taşıdığı iki ayrı işi ayıracağız. Aynı kelime, bir cümlede sayısal bir sonuca, ötekinde bir insanın hayatına bakıyor.

Sonra o meşhur sayıya geleceğiz ve ne söyleyip ne söylemediğini tek tek açacağız. Söylemediği şeylerin listesi, söylediklerinden uzun.

Ardından örneklem büyüklüğüyle olan ilişkisine bakacağız. Aynı fark, katılımcı sayısına göre anlamlı da çıkabiliyor anlamsız da — ve bu, kelimeye güvenmemek için tek başına yeterli.

Son bölümde bunun yerine ne kullanıldığını göreceğiz: bir kişide gerçek bir değişim olup olmadığını söyleyen ölçüt.

Bu derste geçen kişilerin hiçbiri gerçek değildir; hepsi ders için yazılmış kurgusal örneklerdir ve hiçbir danışan kaydından alınmamıştır.

Sıfır noktası

İki soru bağımsız ve dört bileşimi de gerçekte oluyor.

Mekanizma

O sayı ne söylüyor

Tanım dolambaçlı ve dolambaçlı olması bir kusur değil, tam olarak ne olduğunun ifadesi. Şimdi neyi söylemediğine bakalım, çünkü asıl iş orada.

Eşiğin kendisi bir uzlaşım

Usta katmanı

Peki bir kişide değişim nasıl ölçülür

Buraya kadarki her şey gruplar hakkındaydı. Şimdi asıl soruya geliyoruz: karşımdaki kişide gerçekten bir şey değişti mi?

Ortalamanın gizlediği

Sınır ve güvenlik

Bu ders okuma ölçütleri verdi ve bunlar bir çalışmayı yeniden hesaplama yetkisi getirmiyor.

Güvenilir değişim ölçütü özellikle dikkatli kullanılmalı. Ölçüt, o ölçeğin o örneklemdeki ölçüm özelliklerinden hesaplanıyor; internetten bulunan genel bir eşiği kendi puanına uygulamak, sayının nereden geldiğini bilmeden bir yargıya varmak olur. Kendi puanını iki tarihte karşılaştırıp "gerçek bir değişim oldu" ya da "olmadı" demek, bu dersin verdiği bir yetenek değil.

Bir başka kötüye kullanım şu: bir bulguyu "zaten klinik olarak anlamlı değil" diyerek geçmek. Klinik anlamlılık, bakılan sonuca ve kişiye göre değişiyor; bir grupta küçük olan bir fark, o farkın en çok işine yarayacağı alt grupta belirleyici olabiliyor. Ölçüt bir itiraz kalıbı değil, sorulacak bir soru.

Bir uyarı da bu dersin sayısal diline özgü. Bir tedavi kararının arkasındaki rakamları hesap ederek o kararı çürütmeye çalışmak, çürütmenin göründüğünden kolay olduğu bir alanda tehlikeli bir alışkanlık: neredeyse her klinik kararın arkasında tartışmaya açık bir sayı bulunur. Rakamı okumayı öğrenmenin karşılığı, kararı bozmak değil kararı verenle daha iyi bir soru konuşabilmek.

Kendini ya da bir başkasını güvende hissetmediğin bir durumdaysan eğitim içeriğiyle bekleme. Bulunduğun ülkenin acil hattına, en yakın acil servise ya da bir ruh sağlığı uzmanına başvur. Eğitim içeriği acil durumu yönetmez.

Kendin dene

Aklında kalsın

İstatistiksel anlamlılık yalnız bir soruya cevap verir: bu fark gürültü olabilir mi? Klinik anlamlılık başka bir soruya bakar: bu fark bir insanın hayatında bir şey değiştiriyor mu?

Yeterince büyük bir çalışmada neredeyse her fark anlamlı çıkar; "anlamlı bulundu" ifadesi, kaç kişiyle çalışıldığı bilinmeden okunamaz.

Anlamlı çıkmaması farkın olmadığını göstermez; o çalışmanın farkı görecek kadar güçlü olmadığını da gösterebilir.

Eşik doğadan gelmez, bir uzlaşımdır; kanıt sürekli bir şeydir ve ikili dile sıkıştırıldığında bilgi kaybolur. Güven aralığı, tek sayının sildiği belirsizliği geri getirir.

Bir kişide değişim, o ölçeğin ölçüm hatasından büyük olduğunda güvenilir sayılır; grup ortalaması anlamlı çıkarken hiçbir kişide güvenilir değişim olmayabilir.

Sonraki derse köprü

Bu derste sayıların nasıl okunacağını konuştuk ve bir şeyi hep varsaydık: sayıları üretenlerin doğru olanı bulmaya çalıştığını.

Çoğu zaman öyle. Ama araştırmayı kimin desteklediği, kimin yürüttüğü ve hangi sonucun kimin işine yaradığı, sonucun kendisini sistematik biçimde kaydırabiliyor — hem de kimse yalan söylemeden. Yanlılık ve çıkar çatışması.