Test Seçim Ağacı

Açılış sahnesi

Malatya, üniversite hastanesinin biyoistatistik anabilim dalı, eylülün son perşembesi, öğleden sonraki danışma saati. Araştırma görevlisi Mert'in masasında etik kurula gidecek üç protokol taslağı duruyor ve üçünde de "istatistiksel yöntem" satırı boş. Diyabet eğitim hemşiresinin taslağında ayak bakımı eğitimi kurayla otuz hastaya verilecek, otuz hasta olağan izlemde kalacak; sonuç, altı ay içinde yeni bir ayak yarası açılıp açılmadığı. Romatoloji polikliniği aynı on dört hastanın sabah tutukluğu süresini dakika olarak başlangıçta, dördüncü ve on ikinci haftada ölçecek. Beslenme biriminin taslağında dört danışmanlık biçimi kurayla dağıtılacak ve yöntem satırına kurşun kalemle "hepsini ikişer ikişer t testiyle karşılaştıralım" yazılmış.

Masadaki dördüncü kâğıt bir e-postanın çıktısı. Çocuk polikliniğinden bir diyetisyen verisini toplamış bile: yedi ve on beş çocuklu iki grup, t testinde p ≈ 0,07, Mann–Whitney testinde p ≈ 0,04. Son satırı şöyle: "Hangisini yazayım?" Öğretim üyesi Şerife Hanım e-postayı en alta koyuyor ve önce taslakları açtırıyor.

Bu derste ne olacak

Bu modülün sekiz testini dört soruluk bir ağaca dizecek, her yaprağı bir derse bağlayacaksın. Soruların neden bu sırayla sorulduğunu, her dalda yanlış yöne gitmenin bedelini modülün kendi sayılarıyla göreceksin. Sonra ağacın son sorusunu aynı veriye sormanın ve testi p'ye bakarak değiştirmenin alfaya ne yaptığını iki benzetimle ölçeceksin.

Sıfır noktası

Modül boyunca seçilen test hep tablonun nasıl kurulduğundan çıkmıştı. Baran'ın sekiz kişilik iki grubu t testine, aynı sekiz kişinin önce ve sonra ölçümü eşleştirilmiş teste, taburculuk sonrası hata sayımları ki-kare testine gitmişti. Sevinç ise iki kez yanlış kapıdan girmişti: mayıstaki üç taburculuk yöntemini çiftler hâlinde karşılaştırmış, ağustostaki arama defterinin üç turunu birbirinden habersiz üç grup saymıştı.

Sonucun ölçek türünü de daha önce ayırmıştın. Sürekli veri ortalama ve standart sapmayla özetlenir; ordinal ölçekte sıra anlamlıdır ama basamaklar arası uzaklık eşit sayılamaz; kategorik veri sayımla gelir. Ağacın ilk sorusu bu ayrımın kendisi.

Mekanizma

Dört soru ve sekiz yaprak

Ağacın kökünde sonucun türü var, çünkü testin hangi malzemeyle çalışacağını o belirliyor: ortalamayla, sırayla ya da hücre sayımıyla. Sonra kaç grubun ya da koşulun karşılaştırılacağı, ardından gözlemlerin bağımsız kişilerden mi yoksa aynı kişilerin yinelenen ölçümlerinden mi geldiği soruluyor. Dördüncü soru dağılıma ve eşit yayılıma ne kadar güvenilebileceği; bu soru yaprak değiştirmez, aynı yaprağın hangi sürümünün kullanılacağını seçer.

Taslakları bu tabloyla oku. Ayak yarası kategorik bir sonuç, iki grup bağımsız. Beklenen hücre sayısı satır toplamı çarpı sütun toplamı bölü genel toplam; taslak altı ayda her on hastadan birinde yara bekliyorsa 60 × 0,10 = 6 yara ve her grupta beklenen 6 × 30 ÷ 60 = 3. Hücrelerin yarısında beklenen sayı beşin altına düştüğü için yöntem satırına Fisher kesin testi yazılıyor. Sabah tutukluğu sürekli ama birkaç hastada saatlere uzayan, sağa çarpık bir süre; üç zaman noktası, aynı kişiler. Mert dakikaların logaritmasıyla Greenhouse–Geisser düzeltmeli tekrarlı ölçümler çözümlemesini ana yöntem, Friedman testini önceden adı konmuş bir duyarlılık çözümlemesi olarak yazıyor.

Neden bu sıra

İlk üç sorunun cevabı verinin içinde değil, protokolün içinde. Sonucun türünü ölçüm aracı, grup sayısını ve bağımsızlığı tasarım belirliyor; bunlar hasta toplanmadan önce bilinir ve veri geldikten sonra değişmez. Dördüncü soru ise verinin biçimine dokunuyor ve insanı veriye bakmaya çağıran tek soru bu. Sıra, geri alınamayandan yoruma açık olana doğru gidiyor. İlk üç cevap dördüncü soruya hangi seçeneklerin kaldığını da daraltıyor: iki bağımsız grupta Welch ya da Mann–Whitney, üç tekrarlı ölçümde Greenhouse–Geisser ya da Friedman.

Beslenme taslağı ikinci soruda takılıyor. Dört kolda ikili karşılaştırma sayısı 4 × 3 ÷ 2 = 6, ve her biri yüzde beş düzeyinde sınanırsa en az bir yanlış alarm olasılığı yaklaşık 1 − 0,95⁶ ≈ 0,265. Mert kurşun kalem satırını silip tek yönlü varyans analizini ve ardından Tukey karşılaştırmalarını yazıyor.

Her dalda sapmanın bedeli

Yanlış dalın bedeli modülün kendi tablolarında ölçülmüştü. Grup sayısı dalında Sevinç'in üç ikili t testinde en az bir yanlış alarm olasılığı 1 − 0,95³ ≈ 0,143 çıkmıştı; benzetimde gerçekleşen oran 0,123 olmuştu. Gözlemlerin bağımsızlığı dalında aynı on sekiz puan bağımsız gruplar gibi çözümlendiğinde F 2,45'te kalmış, p ≈ 0,12 olmuştu; kişi payı ayrılınca hata terimi eski değerinin üçte birinin altına inmiş, F 9'a çıkmıştı. Baran'ın önce-sonra tablosunda da bağımsız t 0,48 ile p ≈ 0,64, eşleştirilmiş t 3,35 ile p ≈ 0,012 vermişti. Bu dalda hata çoğunlukla gücü yok ediyor; tersi, bağımsız grupları eşleştirmek, ortada gerçek bir eş olmadığından hiçbir kazanç getirmiyor.

Varsayım dalında bedel alfaya yazılmıştı. Altı kişilik geniş yayılımlı bir grup on iki kişilik dar bir grupla birleştirilmiş varyansla karşılaştırıldığında sıfır hipotezi doğruyken test 0,124 sıklıkla, Welch testi 0,054 sıklıkla reddetmişti. Üç grupta aynı desen klasik varyans analizinde 0,167'ye, Welch ANOVA'sında 0,064'e karşılık gelmişti. Kategorik dalda dördüncü sorunun karşılığı beklenen hücre sayılarıydı ve küçük hücreler kararı taşımıştı: okuma yazma bilmeyen hastaların küçük alt tablosunda düzeltmesiz ki-kare p ≈ 0,097, Fisher kesin testi 0,162 vermişti. Büyük tabloda ise ki-karenin 4,5'i Yates düzeltmesiyle 3,78'e inmiş, p 0,034'ten 0,052'ye geçmişti.

Dördüncü soruyu aynı veriye sormak

Dördüncü soruyu cevaplamanın cazip bir yolu var: önce verinin varsayıma uyup uymadığını sına, sonuca göre testi seç. Bu iki aşamalı yolun sorunu, ön sınamanın küçük örneklemde zayıf olması; sınamanın ters duyarlılığını dağılım varsayımını işleyen derste görmüştün (L02-P02-M02-D08). Zayıf bir ön sınama bozuk varsayımı çoğu kez kaçırır ve kaçırdığı veride yanlış testi onaylar.

Aynı altı ve on iki kişilik kurulum yeniden çalıştırıldı (tohum 20261007, yüz bin tekrar). Birleştirilmiş test 12.267 kez, Welch testi 5.428 kez reddetti. Varyans eşitliği için Levene ön sınaması bozulmayı yalnız 32.768 kez yakaladı, yani 32.768 ÷ 100.000 ≈ 0,33. Ön sınama anlamlıysa Welch, değilse birleştirilmiş testi seçen iki aşamalı yol 10.001 kez reddetti, oran 0,100. Daha dikkat çekici olan, ön sınamayı "geçen" tekrarlarda birleştirilmiş testin ret oranının 0,141'e çıkması: sınamanın onay verdiği veri, yayılım farkının en çok gizlendiği ve testin en çok yanıldığı veriydi.

Buradan çıkan kural nitel: dördüncü sorunun cevabını mümkün olduğunca veriden önce ver. Sabah tutukluğunun sağa çarpık olacağını romatolog ölçümden önce biliyor; iki grubun yayılımının farklı olabileceğini bilmek için veri gerekmiyor, Welch zaten eşit yayılımda az şey kaybettiriyor. Grafiğe bakmak yasak değil, ama bakışın sonucu yöntemi değiştirecekse bu değişiklik protokolde önceden tarif edilmiş bir kural olmalı.

Testi p'ye bakarak değiştirmek

Şimdi e-postaya dönebilirsin. Diyetisyen iki testi de çalıştırmış ve küçük p'yi verenin hangisi olduğunu biliyor; seçimi o bilgiyle yaparsa bu, veri görüldükten sonra sayılmadan yapılan bir analiz seçimi, yani p-hacking dersinde adı konan sayılmamış seçimin tam bir örneği (L02-P04-M03-D08). Sıfır hipotezi doğruyken sekiz ve sekiz kişilik iki normal grubu 20.000 kez karşılaştıran bir benzetimde (tohum 20261008) Welch testi 937 kez, Mann–Whitney testi 959 kez anlamlı çıktı. İkisinden küçük olanı raporlayan kural ise 1.125 kez: 1.125 ÷ 20.000 ≈ 0,056.

Artış küçük, çünkü iki test çoğu veride aynı şeyi söylüyor. Ama bu tek bir çatal; dışlama kuralı, dönüşüm ve ölçüm zamanıyla çatallar çoğaldığında p-hacking dersinde on iki yolun ret oranını 0,23'e taşıdığını görmüştün.

Ağacın bitiş çizgisi

Ağaç yalnız grupları ya da koşulları karşılaştıran soruları taşıyor. Aynı kişide iki sürekli ölçümün birlikte nasıl değiştiği sorusu korelasyon ve regresyonla gelecek. Grupları karşılaştırırken yaş ya da başlangıç değeri gibi değişkenlere göre düzeltme, regresyon modellerinin işi olacak. Kişiler kümeler içinde toplandığında ya da izlemde ölçüm eksildiğinde karma modeller, sonuç bir olayın ne zaman geldiği olduğunda sağkalım çözümlemesi devreye girecek.

Klinik gerçeklik

Mert üç yöntem satırını dolduruyor ve her birinin altına ağacın dört cevabını birer kelimeyle yazıyor: sonuç, grup sayısı, bağımsızlık, varsayım. Şerife Hanım bunu etik kurulun görmesini istiyor, çünkü yöntem sonradan değişirse değişikliğin hangi dalda olduğu görünecek. Diyetisyene cevabı kısa: protokol hangi testi yazdıysa o rapor edilir, öteki etiketiyle eklenir.

Bir makale okurken de aynı dört soruyu tersinden sor. Sonuç türüyle testin malzemesi uyuşuyor mu? Aynı hastaların yinelenen ölçümleri bağımsız gruplar gibi mi çözümlenmiş? Çok gruplu bir tabloda kaç ikili karşılaştırma yapılmış ve düzeltilmiş mi? Varsayım sınaması yazılıysa, testin ona bakılarak seçildiğine dair bir iz var mı?

Kendini sına

1. Ayak yarası taslağında beklenen oran yüzde yirmi olsaydı en küçük beklenen hücre kaç olurdu? Yöntem satırı değişir miydi?
2. Beş kollu bir denemede ikili karşılaştırma sayısını ve en az bir yanlış alarm olasılığını hesapla.
3. İlk üç soru neden veri toplanmadan cevaplanabilir, dördüncüsü neden tam olarak cevaplanamaz?
4. Ön sınamayı geçen tekrarlarda birleştirilmiş testin ret oranı neden koşulsuz orandan yüksek çıktı?
5. Sevinç'in iki yanlış seçiminden hangisi yanlış alarm, hangisi güç kaybı üretti?
6. Sabah tutukluğu taslağında Friedman testini ana yöntem yerine duyarlılık çözümlemesi olarak önceden yazmak ne kazandırır?

Bir sonraki derse köprü

Ağacın bütün yaprakları bir grubu başka bir grupla ya da bir zamanı başka bir zamanla karşılaştırdı. Romatoloji polikliniği aynı hastalarda sabah tutukluğu dakikasıyla birlikte bir iltihap belirtecini de kaydederse karşılaştırılacak iki grup kalmaz; soru, bir hastanın bir ölçümü ortalamanın üstündeyken ötekinin de üstünde olup olmadığıdır. İki değişkenin ortalamalarından birlikte sapmasını tek bir sayıya nasıl toplarsın, ve o sayının biriminin dakika çarpı belirteç birimi olması neden yorumunu zorlaştırır?