“p<0,05 Kanıtladı” İddiası

Açılış sahnesi

Samsun'da bir mahalle eczanesi, eylül sonu, kepenkler inmeden yarım saat önce. İlkokul öğretmeni Ceylan tezgâha telefonunu uzatıyor: bir takviye markasının paylaşımı, pembe zemin üstünde iri harfler. "Adet ağrısını azalttığı klinik olarak kanıtlandı! Plasebo kontrollü çalışmada p<0,05". Ceylan her ay iki gün ağrı kesiciyle geçirdiğini, bir kutu almadan önce eczacının ne düşündüğünü öğrenmek istediğini söylüyor.

Eczacı Şükran Hanım paylaşımın altındaki bağlantıdan firmanın çalışma özetini açıyor ve stajyer eczacılık öğrencisi Berk'e okutuyor. Yüz kadın, elli elli iki gruba ayrılmış, üç adet döngüsü boyunca sıfırdan ona bir ağrı cetvelinde puan tutmuşlar. Üçüncü döngüde ortalama puan takviye grubunda 4,6, plasebo grubunda 5,5; standart sapma iki grupta da 2,2 civarında, p = 0,041. Berk "Hepsi doğru yazılmış" diyor. Şükran Hanım başını sallıyor ve "Sayılar doğru olabilir, soru cümlenin fiilinde" diye ekliyor.

Bu derste ne olacak

Paylaşımdaki tek cümleyi beş ayrı önermeye bölecek, her birini modülde kurduğun araçlarla sınayacaksın. Bir ağaç hesabıyla "p<0,05" ifadesinin etkisizlik olasılığını neden söylemediğini, sonra p'nin eşiğe bu kadar yakın durmasının o olasılığı nasıl değiştirdiğini göreceksin. Ardından farkın büyüklüğüne, anlamlı çıkmış küçük çalışmaların etkiyi neden şişirdiğine ve tek bir çalışmanın ardından bir tekrarın ne kazandıracağına geçeceksin. Son adımda "kanıtlamak" fiilinin bilimde nerede durduğunu soracaksın.

Sıfır noktası

p-hacking dersinde sayının arkasındaki çatallanan yolları saymıştın. Bu derste yolun temiz olduğunu varsayarak başlıyorsun: çalışmanın önceden kaydedildiğini, tek bir analizin yapıldığını, kimsenin veriye ara ara bakmadığını kabul et. Soru o zaman bile kalıyor, çünkü paylaşımın iddiası p'nin kendisi hakkında değil, p'den çıkarılan bir sonuç hakkında.

Yöntem akademinin öteki iddia analizleriyle aynı sırada ilerliyor. Önce cümle birbirinden ayrı sınanabilecek önermelere bölünür. Sonra her önerme için kimde, neye kıyasla ve hangi sonuç için sorusu sorulur. Üçüncü adımda her önermeye ulaşılabilecek en iyi kanıt getirilip rozetlenir, dördüncüsünde doğru parça çarpıtılmış parçadan ayrılır. Son adım burada özellikle önemli: paylaşımdaki sayılar yanlış değil ve bir eczacının "hepsi reklam" demesi Ceylan'a doğru olan kısmı da kaybettirir.

Bir de dilin kendisi var. Kesinlik dilini işleyen derste "kanıtlanmıştır" kelimesinin bir derece bildirmediğini, derece sorusunu kapattığını görmüştün (L00-P03-M01-D03). Bu derste aynı kelimenin bir istatistik sonucuna yapıştırıldığında hangi hesapları sessizce atladığını sayacaksın.

Mekanizma

İddiayı sökelim

Paylaşımın cümlesi sökülünce içinden beş önerme çıkıyor ve Berk onları not kâğıdına alt alta yazıyor.

Ö1. Takviye plasebo kontrollü, randomize bir çalışmada sınandı.

Ö2. Çalışmada iki grup arasındaki fark p = 0,041 ile anlamlı çıktı.

Ö3. p<0,05 olduğuna göre takviyenin etkisiz olma olasılığı yüzde beşten az.

Ö4. Anlamlı fark, kullanan kadının hissedeceği bir azalma demektir.

Ö5. Tek çalışma meseleyi kapattı; etki kanıtlandı.

İlk ikisi özetin kendisinden okunuyor ve doğru. Son üçü o iki doğrunun üstüne kurulmuş çıkarımlar ve her biri ayrı bir hesap istiyor. Paylaşımın ikna gücü, okurun bu geçişi tek nefeste yapmasından geliyor.

Ö1 ve Ö2 — Doğru ve küçümsenmemeli

Randomize ve plasebo kontrollü bir çalışma yapılmış olması küçümsenecek bir çaba değil; bir paylaşımın arkasında çoğu zaman yalnız kullanıcı yorumları durur. Kimde sorusunun cevabı özetten okunuyor: adet ağrısı bildiren yüz genç kadın. Neye kıyasla sorusunun cevabı plasebo, hangi sonuç sorusunun cevabı da üçüncü döngüdeki ağrı puanı. p değerini de Berk özetteki sayılardan yeniden kuruyor. Standart hata 2,2 × √(2 ÷ 50) = 2,2 × 0,2 = 0,44, test istatistiği 0,9 ÷ 0,44 ≈ 2,05; iki kuyruğun alanı toplandığında p ≈ 0,041 çıkıyor. Özet kendi içinde tutarlı.

Bu noktada durmak dördüncü adımın gereği. Ceylan'a "bu çalışma hiçbir şey göstermiyor" demek yanlış olur: veri, takviyede de plaseboda da aynı ağrı düzeyi varsayımıyla zor bağdaşıyor. Sorun buradan sonra başlıyor.

Ö3 — İki koşullu olasılık yer değiştiriyor

p = 0,041'in söylediği şu: takviye etkisiz olsaydı, bu kadar büyük ya da daha büyük bir farkın çıkma olasılığı yaklaşık 0,04 olurdu. Bu, P(veri | etki yok) türünden bir sayı. Ö3 ise P(etki yok | veri) diyor. Tip I hata dersindeki bin fikirlik ağaç bu iki yönün neden ayrıldığını göstermişti ve aynı ağacı bu paylaşım için kurmak yeterli.

Bitki özlerinden yapılan takviyeler arasında sınanan fikirlerin onda birinin gerçekten işe yaradığını, yüzer kişilik çalışmaların gerçek bir etkiyi yarı yarıya yakaladığını varsay. Bin fikirde boş dal 900 × 0,05 = 45 anlamlı sonuç, gerçek dal 100 × 0,50 = 50 anlamlı sonuç veriyor. Anlamlı çıkan 95 sonucun içinde etkisiz olanların payı 45 ÷ 95 ≈ 0,47. Ceylan'ın telefonundaki cümle yüzde beş diyor; bu varsayımlarla sayı yarıya yakın.

Hesap bir adım daha keskinleşiyor, çünkü elindeki p "0,05'ten küçük" değil, 0,041. Ağacı yalnız p'si eşiğin hemen altındaki dilime, 0,03–0,05 aralığına düşen çalışmalarla yeniden kur. Etki yokken p düzgün dağıldığı için boş fikirlerin 0,02'si bu dilime düşer: 900 × 0,02 = 18. Güç 0,50 iken gerçek fikirlerde p'nin bu dilime düşme olasılığı yaklaşık 0,083 çıkıyor, yani 100 × 0,083 ≈ 8. Dilimdeki çalışmaların etkisiz olma payı 18 ÷ 26,3 ≈ 0,68. Eşiğin hemen altındaki bir p, eşiğin çok altındaki p'lerle aynı torbaya konduğunda olduğundan güçlü görünüyor.

Ağaçtaki onda bir tartışılabilir. Önsel yarıya çıksa risk düşer, binde bire inse tırmanır. Ama hiçbir önselde "p<0,05, öyleyse yüzde doksan beş ihtimalle işe yarıyor" cümlesi aritmetikten çıkmıyor; o cümle yalnız önseli hiç sormayan birinin cümlesi.

Ö4 — Anlamlı, ama ne kadar?

Özetin vermediği sayıyı Berk hesaplıyor: farkın yüzde 95'lik güven aralığı 0,9 ± 1,96 × 0,44, yani yaklaşık 0,04 ile 1,76 puan arası. Alt uç sıfırın hemen yanında. Veri, sıfırdan ona bir cetvelde puanın yirmi beşte biri kadar bir azalmayla da, iki puana yakın bir azalmayla da uyumlu. p = 0,041 bu aralığın sıfıra değip değmediğini söyledi; aralığın nerede durduğunu söylemedi. Anlamlılık ile büyüklüğü ayıran ilke tam burada iş görüyor.

Klinik önem dersinde bunun bir değer sorusu olduğunu görmüştün (L01-P04-M02-D03). Bir puanın altındaki bir azalmanın Ceylan'ın iki kötü gününü değiştirip değiştirmeyeceğini hiçbir p değeri söyleyemez. Bunu ancak ağrıyı yaşayan kişinin ölçeğinden türetilmiş bir eşik ve yanıt verenlerin oranı söyleyebilir; özet ikisini de vermiyor.

Küçük bir çalışmada anlamlı çıkmanın bir bedeli daha var. Güç 0,50 iken gözlenen fark ancak şansın olumlu tarafa düştüğü çalışmalarda eşiği geçer; eşiği geçenler de ortalamada gerçek etkiden büyük farklar bildirir. Bir milyon benzetilmiş çalışmada anlamlı çıkanların ortalama test istatistiği 2,76 oldu, gerçek değer 1,96'ydı: 2,76 ÷ 1,96 ≈ 1,41. Paylaşımdaki 0,9 puanlık fark, anlamlı çıktığı için okura ulaşmış bir kestirim. Güç gerçekten yüzde elliyse bu türden çalışmalar ortalamada gerçek etkinin 1,41 katını bildirir ve 0,9 ÷ 1,41 ≈ 0,64 puan, o ortalamanın arkasındaki etkiye karşılık gelir; tek bir çalışmanın farkını böyle bölmek bir düzeltme değil, ne kadar şişmiş olabileceğinin ölçüsü.

Ö5 — "Kanıtlandı" fiilinin taşıyamadığı yük

Beşinci önerme iki şeyi birbirine karıştırıyor. Tümdengelimsel bir kanıtta sonuç öncüllerden zorunlu olarak çıkar: bir üçgenin iç açıları toplamı hakkındaki ispat, bir kez kurulduktan sonra yeni bir üçgen ölçülerek zayıflamaz. Bir klinik çalışma bu türden bir ilişki kurmuyor. Veri bir hipotezin olasılığını yukarı ya da aşağı iter, ve bir sonraki çalışma o itişi tersine çevirebilir.

Yanlışlanabilirlik dersinde bu asimetrinin öteki yüzünü görmüştün: destek biriktirmek genel bir iddiayı kanıtlamaz, iyi kurulmuş bir karşı gözlem ise onu sarsabilir (L01-P01-M01-D04). "Kanıtlandı" fiili bir tümevarımsal destek sonucunu tümdengelimin diliyle söylüyor ve böylece bir sonraki çalışmanın söyleyeceklerini baştan susturuyor.

Tekrarın ne kazandırdığı ağaçta görünüyor. Anlamlı çıkmış 95 sonucun hepsi aynı büyüklükte bağımsız bir ikinci çalışmayla sınansın. Etkisiz 45 fikirden 45 × 0,05 ≈ 2,25'i yine anlamlı çıkar, gerçek 50 fikirden 50 × 0,50 = 25'i. İki kez anlamlı çıkanlar içinde etkisiz olanların payı 2,25 ÷ 27,25 ≈ 0,08. Tek çalışmada 0,47 olan risk ikinci bir çalışmayla bu düzeye iniyor. Aynı ağacın bir başka dersi daha var: ikinci çalışmaların yalnız 27,25 ÷ 95 ≈ 0,29'u anlamlı çıkıyor. Gerçek bir etkinin bile aynı büyüklükteki tekrarda yarı yarıya kaybolması, düşük gücün tekrarı neden bu kadar zorlaştırdığını anlatıyor.

Temiz süreç varsayımını da bir anlığına bırak. Özette kayıt numarası yoksa, p-hacking dersindeki benzetimde on iki gizli yolun sıfır doğruyken 0,23 oranında anlamlı sonuç ürettiğini hatırla. Aynı ağaçta boş dal 900 × 0,23 ≈ 207 anlamlı sonuç verir ve risk 207 ÷ 257 ≈ 0,81 olur. "Klinik olarak kanıtlandı" cümlesi, sürecin temiz olup olmadığını da okura sormadan söylüyor.

Klinik gerçeklik

Şükran Hanım Ceylan'a bir hüküm değil, sökülmüş bir cümle veriyor. Çalışma yapılmış ve fark rastlantıyla kolay açıklanmıyor; bu doğru parça. Etkinin gerçek olma olasılığı paylaşımın ima ettiğinden düşük, büyüklüğü sıfıra yakın bir değerle de uyumlu, ve tek bir yüz kişilik çalışmadan gelen bir sayı büyük olasılıkla şişkin. Aynı soruyu soran bağımsız bir ikinci çalışma, bir kayıt numarası ve ağrı cetvelinde kaç kadının anlamlı bir iyileşme bildirdiği, kararı değiştirebilecek üç bilgi.

Berk o akşam firmaya üç soruluk bir e-posta taslağı yazıyor: çalışma önceden kaydedildi mi, tekrar edildi mi, güven aralığı ve yanıt verenlerin oranı nedir? Şükran Hanım da Ceylan'a her ay iki günü yatakta geçiren bir ağrının ayrıca bir hekime danışmayı hak ettiğini söylüyor; takviye sorusu o görüşmenin yerini tutmuyor.

Fonksiyonel tıp alanında "klinik olarak kanıtlanmış" ifadesi etiketlerde, kongre özetlerinde ve danışan sunumlarında sık dolaşıyor. Bu ifadeyi gördüğünde dört sayıyı iste: p değerinin kendisi, farkın güven aralığı, çalışmanın büyüklüğü ve bağımsız tekrar sayısı. Dördü de verilmişse ifadeyi "destekleniyor" diye okumak çoğu zaman yeterince dürüst olur.

Kendini sına

1. Paylaşımın cümlesini beş önermeye böl. Hangi ikisi doğru, hangi üçü onların üstüne kurulmuş çıkarım?
2. Önsel 0,2 ve güç 0,5 iken anlamlı sonuçlar içinde etkisiz olanların payı kaçtır? Önsel 0,1 iken bulduğun 0,47 ile karşılaştır.
3. Ağacı yalnız 0,03–0,05 dilimine düşen p'lerle kurunca risk neden 0,47'den 0,68'e çıktı?
4. Özetteki sayılarla farkın güven aralığını hesapla. Alt ucun sıfıra bu kadar yakın olması Ceylan için ne anlama geliyor?
5. Abartı oranı nedir? Güç 0,50'den 0,20'ye düşseydi 0,9 puanlık bir farkı nasıl okurdun?
6. Tümevarımsal destek ile tümdengelimsel kanıt arasındaki fark "kanıtlandı" fiilini neden yanlış bir fiil yapıyor?

Bir sonraki derse köprü

Bu derste Berk'in elindeki tek sayı bir ortalamalar farkıydı ve test istatistiğini standart normal dağılımdan okudu. Yüz kişilik bir çalışmada bu kabaca yerinde, ama standart sapmanın da aynı küçük örneklemden kestirildiğini hesaba katmadı. Sık kullanılan testler modülü t testiyle açılıyor: iki grubun ortalamasını karşılaştırırken standart sapmayı veriden kestirmek dağılımın kuyruklarını nasıl kalınlaştırır, ve serbestlik derecesi bu kalınlığı nasıl belirler?