p-Hacking

Açılış sahnesi

Eskişehir, şehir hastanesinin gastroenteroloji kliniğinde temmuz sonu, mesai bitmiş. Gastroenterolog Nazife Hanım ulusal bir iç hastalıkları dergisinden gelen hakemlik davetini kabul etmiş ve yüksek lisansını yapan diyetisyen Kutay'ı ilk hakemliğini izlemesi için odasına çağırmış. Makale irritabl bağırsak sendromlu hastalarda sabit öğün saatleri ve yemek günlüğüne dayanan bir programı olağan beslenme önerisiyle karşılaştırıyor. Özetin son cümlesi net: sekizinci haftada belirti şiddeti puanı program grubunda anlamlı olarak daha düşük, p = 0,041.

Nazife Hanım yöntem bölümünün sonundaki kayıt numarasını herkese açık kayıt defterinde açıyor ve ekranı ikiye bölüyor. Kayıtta birincil sonuç on ikinci haftadaki puan, analiz randomize edilen bütün hastalarda ve düzeltmesiz iki grup karşılaştırması. Yayında hafta sekize kaymış, program uyumu yüzde sekseni bulmayan hastalar dışarıda bırakılmış, sonuç başlangıç puanına göre düzeltilmiş. Kutay "Her biri makul bir tercih" diyor. Nazife Hanım bir kâğıda üç sütun çiziyor ve altına 12 yazıyor.

Bu derste ne olacak

Önce Nazife Hanım'ın kâğıdındaki 12'yi kuracak, bağımsızlık varsayımıyla bu yolların yanlış alarm olasılığını hesaplayacaksın. Sonra aynı yolları gerçeğe daha yakın, birbirine bağlı biçimde on bin kez benzetecek ve oranın nerede durduğunu göreceksin. Ardından Kutay'ın tez verisine dönüp veriye ara ara bakmanın p'ye ne yaptığını sayacaksın. Son bölümde bir okurun elinde kalan izlere, yayımlanmış anlamlı p değerlerinin nasıl dağıldığına ve kayıtla yayın arasındaki farkın bir çarpana nasıl çevrileceğine geleceksin.

Sıfır noktası

Çoklu karşılaştırmada test ailesi kâğıttaydı: beş sonuç, protokolde veri görülmeden yazılmış, ve aile boyu hata oranı o beşten hesaplanabildi. Bu makalede de bir aile var, ama hiçbir tabloda satır olarak durmuyor. Hafta, dışlama ve düzeltme seçimlerinin her biri başka bir teste karşılık geliyor; yayında ise yalnız sonuncusu görünüyor. Sayılmış karşılaştırmada okur aileyi tablodan okur, sayılmamış karşılaştırmada aileyi kendisi kurmak zorunda kalır.

Bu hareketin sözel adını daha önce koymuştun. Tekrarlanabilirlik dersinde analitik esneklik, aynı veriden çıkarılabilen savunulabilir analizlerin sonuç görüldükten sonra seçilmesiydi (L01-P01-M01-D05); doğrulama yanlılığında araştırmacının hile yapmadan beklentisine uyan yolu seçebildiğini görmüştün. Sonucu gördükten sonra hipotez kurmak da bu ailenin üyesiydi. Bu derste eksik olan parçayı ekleyeceksin: esnekliğin p'yi ne kadar oynattığı, hesabıyla.

p değeri dersinde bir özelliği on bin benzetimle görmüştün. Sıfır doğruyken ve tek bir analiz yapılırken p sıfırla bir arasındaki her değeri eşit sıklıkla alıyordu; 0,05'in altına düşme olasılığı tam 0,05'ti. p-hacking bu düzgünlüğü bozar. Raporlanan sayı artık tek bir analizin p'si değil, birkaç analizin en işe yarayanıdır.

Mekanizma

Kâğıttaki on iki yol

Nazife Hanım'ın sütunlarını tek tek doldur. Makalede belirti puanı üç kez ölçülmüş: dördüncü, sekizinci ve on ikinci hafta. Hasta kümesi iki biçimde alınabiliyor: randomize edilenlerin hepsi ya da uyumlu olanlar. Model de iki biçimde: düzeltmesiz karşılaştırma ya da başlangıç puanına göre düzeltilmiş model. Yazarların önünde 3 × 2 × 2 = 12 analiz duruyordu ve yayında bunlardan biri var.

On iki analiz birbirinden bağımsız olsaydı, hiçbir etki yokken en az birinin 0,05'in altına düşme olasılığı 1 − 0,95¹² ≈ 0,46 olurdu. Neredeyse yazı tura. Yalnız haftayı seçme özgürlüğü bile, bağımsızlık varsayımıyla, 1 − 0,95³ ≈ 0,14 verir. Bu sayılar gerçeğin üst sınırına yakın duruyor, çünkü aynı hastanın sekizinci ve on ikinci hafta puanları birbirine benzer ve aynı veriden türetilen iki model çoğu zaman benzer p'ler verir.

Kaba bir düzeltme fikri de kâğıttan çıkıyor. On iki yolun hepsi baştan ilan edilmiş olsaydı eşik 0,05 ÷ 12 ≈ 0,0042 olacaktı. Makalenin 0,041'i bu eşiğin yaklaşık on katı. Bu hesap yazarları suçlamaz, ama yayımlanmış p'nin hangi aileden seçildiği bilinmeden o sayının 0,05 ile kıyaslanamayacağını gösterir.

Benzetim: bağımlı yollar

Bağımlılığın ne kadar kurtardığını görmek için bir benzetim kuruldu. Her çalışmada kol başına 60 hasta, gerçek fark sıfır. Başlangıç puanı her haftanın puanıyla 0,5 düzeyinde, haftaların puanları birbiriyle 0,6 düzeyinde ilişkili; hastaların dörtte biri rastgele "uyumsuz" işaretleniyor, yani dışlama sonucu değiştirmiyor, yalnız örneklemi değiştiriyor. Numpy rastgele sayı üretecinin tohumu 20260925 ve on bin çalışma üretildi.

Yalnız kayıttaki analiz yapıldığında 532 çalışma 0,05'in altına düştü: 532 ÷ 10.000 ≈ 0,053, beklenen değer. Üç hafta arasında seçim serbest bırakılınca 1.107 çalışma, yani 0,11. Buna dışlama seçimi eklenince 1.574, yani 0,16. On iki yolun hepsinde en az bir anlamlı sonuç çıkan çalışma sayısı 2.313 oldu: 2.313 ÷ 10.000 ≈ 0,23. Bağımsızlık hesabının 0,46'sının yarısı, ama tek bir önceden yazılmış analizin 0,23 ÷ 0,05 ≈ 4,6 katı.

Bu sayıyı iki yönden oku. Birincisi, yolların birbirine bağlı olması sorunu çözmüyor, yalnız küçültüyor; her yeni esneklik ekseni oranı biraz daha yukarı itiyor. İkincisi, benzetimde kimse kötü niyetli değil: bilgisayar yalnız 0,05'in altındaki ilk sonucu raporladı. Gerçek bir araştırma ekibi aynı davranışı "sekizinci hafta klinik olarak daha anlamlı" ya da "uyumsuz hastalar programı almadı sayılır" gibi gerekçelerle, her biri kendi başına savunulabilir cümlelerle yapar.

Her on hastada bir bakmak

Kutay makaleden sonra kendi tezini düşünüyor. Danışmanı ona hasta alımı sürerken sonuçlara ara ara bakmasını, fark belirirse erken bitirmesini önermiş. Nazife Hanım aynı benzetimi bu kez bu kurala uyguluyor: gerçek fark sıfır, en çok 120 hasta, ilk bakış 20 hastada ve sonra her on hastada bir, toplam on bir bakış, ilk p < 0,05'te durmak. Tohum 20260927.

On bin çalışmanın 1.906'sı bir noktada durdu ve "anlamlı" bir sonuçla bitti: 1.906 ÷ 10.000 ≈ 0,19. Durmaların çoğu erken bakışlarda toplandı; yalnız 20 hastalık ilk bakışta 493 çalışma eşiği geçti, çünkü küçük örneklemde p en çok o zaman oynar. Bakışlar 70 hastada kesilseydi, yani altı bakışla, oran 1.400 ÷ 10.000 = 0,14 olurdu (ayrı bir koşu, tohum 20260928). Her ek bakış yeni bir kapı açıyor ve kapılardan geçen yanlış alarm geri dönmüyor.

Protokol ve kayıt dersinde erken durdurmanın etkiyi abarttığını, çünkü durma anının şansın en olumlu göründüğü ana denk geldiğini görmüştün (L01-P02-M03-D09). Burada aynı hareketin p üzerindeki izi görünüyor. Veriye bakmak kendi başına kusur değil; kusur, bakışların sayısının ve her bakışta kullanılacak eşiğin önceden yazılmamış olmasında. Çoklu karşılaştırmada yüzde beşlik payı testler arasında bölme fikri burada da çalışır: ara analizler planlanır ve yüzde beş bakışlar arasında önceden paylaştırılırsa aile boyu yanılma denetim altında kalır.

İzi okurun gözünden aramak

Tek bir makalede p-hacking'i kanıtlamak çoğu zaman mümkün değil; okurun elinde izler kalır. İlk iz kayıtla yayın arasındaki farktır. Kayıt–yayın uyuşmazlığını birincil sonucun yer değiştirmesi olarak zaten tanımıştın; bu derste ona bir sayı ekliyorsun. Değişen her ayrıntı gizli ailenin bir ekseni: hafta değiştiyse en az üç, dışlama kuralı eklendiyse en az iki, model değiştiyse en az iki. Eksenleri çarptığında okurun tahmini aile büyüklüğü ortaya çıkar.

İkinci iz p'nin kendisinde. Sıfır doğruyken ve tek analizle anlamlı p'ler 0 ile 0,05 arasında düz dağılır; her 0,01'lik dilime anlamlı sonuçların beşte biri düşer. Benzetimdeki 2.313 zorlanmış sonucun ise 640'ı 0,04 ile 0,05 arasına yığıldı: 640 ÷ 2.313 ≈ 0,28. 0,01'in altına düşen yalnız 214'tü, yani 0,09. Gerçek bir etki olduğunda tablo tersine döner. Kol başına 60 hastayla yüzde seksen güçte bir etki benzetildiğinde (tohum 20260926) 8.048 anlamlı sonucun 5.901'i 0,01'in altındaydı, 0,73; 0,04 ile 0,05 arasında yalnız 0,04 kaldı.

Bu dağılıma p-eğrisi (p-curve) deniyor; p değeri dersindeki uyumluluk eğrisiyle karıştırma, o tek bir çalışmada aday değerlerin p'lerini çiziyordu. p-eğrisi bir bulgu için yayımlanmış bağımsız çalışmaların anlamlı p'lerini bir araya toplar. Tek bir makalede 0,041 hiçbir şey kanıtlamaz, ama aynı soruyu soran on çalışmanın anlamlı p'leri 0,03 ile 0,05 arasında toplanıyorsa o kümede gerçek bir etkinin beklenen izi yok.

Klinik gerçeklik

Nazife Hanım'ın hakem raporu üç istekle bitiyor. Yazarlar kayıttaki analizi, yani on ikinci haftada bütün hastalarda düzeltmesiz karşılaştırmayı, sonucu ne olursa olsun birincil bulgu olarak versinler. Sekizinci hafta, uyumlu hasta kümesi ve düzeltilmiş model ayrı bir tabloda, sonradan seçildikleri açıkça yazılarak sunulsun. Her değişikliğin gerekçesi ve verinin görülmeden önce mi sonra mı karar verildiği yöntem bölümüne girsin. Rapor sonucu reddetmiyor; okura hangi p'nin kaç kapıdan geçerek geldiğini söyletiyor.

Kutay ise aynı akşam tez protokolüne bir satır ekliyor: ara bakış yok, hedef 120 hasta, analiz planı veri toplanmadan danışmana ve etik kurula gönderilecek. Nazife Hanım bunun bedelini de söylüyor. Önceden yazılmış bir plan beklenmedik ama gerçek bir örüntüyü doğrulayıcı iddia olarak sunmayı engeller; o örüntü ancak keşif bulgusu olarak yazılabilir ve yeni bir çalışmayı bekler. Doğrulayıcı araştırmayı keşifsel araştırmadan ayıran çizgi bu bedelle korunuyor.

Fonksiyonel tıp literatüründe bu izler sık karşına çıkacak. Bir besin takviyesini ya da beslenme düzenini sınayan çalışma birden çok ölçüm zamanı, çok sayıda belirteç ve uyum tanımları taşıyorsa, önce kaydı açıp ilan edilen analizi bul. Sonra yayındaki analizle arasındaki farkları eksen eksen say ve çarp. p değeri 0,04'lerde, örneklem büyüklüğü plandan sapmış, dışlama kuralı yalnız yayında görünüyorsa, bulguyu keşif düzeyinde oku ve bağımsız bir tekrarı bekle.

Kendini sına

1. Makalede üç ölçüm haftası, iki hasta kümesi ve iki model vardı. Gizli ailenin büyüklüğünü ve bağımsızlık varsayımıyla en az bir yanlış alarm olasılığını hesapla.
2. Benzetimde 12 yol 0,23 verdi, bağımsızlık hesabı 0,46. Aradaki farkı hangi özellik yaratıyor ve bu fark neden sorunu ortadan kaldırmıyor?
3. On iki yol baştan ilan edilseydi Bonferroni eşiği kaç olurdu? 0,041 bu eşiğe göre nerede kalır?
4. Kutay'ın danışmanının önerdiği kural sıfır doğruyken kaç oranında anlamlı sonuç üretti? Bakışlar 70 hastada kesilince oran neden düştü?
5. Zorlanmış sıfır, dürüst sıfır ve gerçek etki altında anlamlı p'lerin 0,04–0,05 dilimindeki payını karşılaştır.
6. Nazife Hanım'ın üç isteği hangi soruyu okura geri veriyor? Önceden yazılmış planın bedeli ne?

Bir sonraki derse köprü

Nazife Hanım'ın raporu bir p değerinin hangi yoldan geldiğini sordu. Kayıt tam, analiz tek ve önceden yazılmış olsaydı bile özetteki "anlamlı" kelimesi başka bir soruyu açık bırakacaktı. Sıradaki derste bir cümle kalıbını çözümleyeceksin: "p < 0,05 kanıtladı" iddiası. Temiz bir süreçten gelen tek bir p değeri, bir programın işe yaradığını söylemeye yeter mi, ve bu cümle hangi olasılıkları sessizce birbirinin yerine koyar?