Çoklu Karşılaştırma

Açılış sahnesi

Erzurum, üniversite hastanesinde etik kurulun toplantı odası, haziranın ilk haftası. Van'dan düzeltilmiş protokol gelmiş: örneklem bölümü artık güç hedefiyle yazılmış, kol başına 91 hasta ve kayıp payıyla 108. Güllü Hanım o bölümü onaylayıp geçiyor ve Anıl'ı istatistiksel analiz planının son sayfasına çağırıyor. Orada beş satırlık bir tablo var: ameliyattan altı hafta sonra ölçülen bükülme açısı, ağrı puanı, on metrelik yürüme hızı, merdivende geçen süre, bir de memnuniyet anketi. Her satırın yanında aynı ibare yazıyor: iki grup karşılaştırması, çift yönlü, α = 0,05.

Tablonun altındaki cümle Anıl'ın gözünden kaçmıştı. "Beş sonuçtan herhangi birinde anlamlı üstünlük saptanırsa, ev programının kliniğe alternatif olarak önerilmesi için yeterli kabul edilecektir". Güllü Hanım cümlenin altını çiziyor ve kenara bir sayı yazıyor: 0,226. Anıl bu sayının nereden geldiğini sorunca kurulun biyoistatistik üyesi kalemi ona uzatıyor.

Bu derste ne olacak

Önce 0,226'yı elle kuracak ve beş testlik bir ailede yanılma olasılığının neden yüzde beşte kalmadığını göreceksin. Sonra eşiği test sayısına bölen düzeltmeyi uygulayacak, bedelini mayıstaki güç hesabının içinde ölçeceksin. Ardından aynı işi daha az kayıpla yapan iki kuralı, sıralı eşikleri ve önceden sabitlenmiş sınama sırasını deneyeceksin. Son bölümde aile boyu yanılmayı denetlemekle retlerin ne kadarının yanlış olduğunu denetlemek arasındaki farka ve kurulun tabloya yazdığı karara geleceksin.

Sıfır noktası

Çoklu test sorununu ilk kez bir laboratuvar panelinde görmüştün (L01-P05-M03-D05). Sağlıklı bir kişide yirmi dört testin en az birinin aralık dışı çıkma olasılığı 1 − 0,95²⁴ ≈ 0,71 idi; testler birlikte hareket edince etkin test sayısı küçülüyor ve olasılık da iniyordu. Orada her satır bir referans aralığıydı ve yanlış alarm bir hastaya düşüyordu. Van tablosunda her satır bir hipotez testi ve yanlış alarm bir klinik karara, belki başka hastanelerin de uygulayacağı bir öneriye düşüyor.

Protokol ve kayıt dersinde birincil sonlanımın veri toplanmadan ilan edilmesi gerektiğini, kayıtta dört sonlanım varken yalnız birinde fark çıkan bir çalışmanın bu yüzden şüpheyle okunduğunu görmüştün (L01-P02-M03-D09). Van protokolü birincil sonucu doğru yerde ilan etmiş: altıncı haftadaki bükülme açısı. Sorun tablonun altındaki cümlede. O cümle beş testi tek bir iddianın beş kapısına çeviriyor ve kapılardan birinin açılması iddiayı kazandırıyor.

Mekanizma

Beş kapının hesabı

Güllü Hanım'ın sayısını kur. Ev programının hiçbir sonuçta gerçek bir üstünlüğü olmasın ve beş test birbirinden bağımsız olsun. Tek bir testin yanlış alarm vermeme olasılığı 0,95; beşinin de vermeme olasılığı 0,95⁵ ≈ 0,774. En az birinin yanlış alarm verme olasılığı bunun tümleyeni: 1 − 0,774 = 0,226. Tablonun altındaki cümleyle kurulan kural, hiçbir fark yokken ev programını yaklaşık dörtte bir olasılıkla önerecek.

Beklenen yanlış ret sayısı daha küçük görünüyor: 5 × 0,05 = 0,25. İki sayı aynı şeyi ölçmüyor. Birincisi bir karar olasılığı, ikincisi ortalama bir sayım; kural tek bir anlamlı sonuçla harekete geçtiği için kurulu ilgilendiren 0,226. Protokolde her sonuç dört ziyarette ölçülüp her ziyaret ayrı test edilseydi aile 5 × 4 = 20 teste büyür ve bağımsızlık varsayımıyla olasılık 1 − 0,95²⁰ ≈ 0,64'e çıkardı. Aynı sonucun art arda ziyaretleri birbirine bağlı olduğu için gerçek sayı bunun altında kalır, ama kural artık "bir şey bulunur" demenin uzun yoluna dönmüş olur.

Eşiği bölmek ve bedelini ödemek

Anıl'ın ilk önerisi laboratuvar panelinde gördüğün yol: toplam yanılma payını test sayısına bölmek. Beş test için 0,05 ÷ 5 = 0,01; her sonuç ancak p < 0,01 verirse anlamlı sayılır. Bağımsızlık altında aile boyu hata oranı 1 − 0,99⁵ ≈ 0,049'a iniyor. Bonferroni sınırının güzelliği bağımlılık yapısını bilmeyi gerektirmemesi: testler nasıl ilişkili olursa olsun en az bir yanlış ret olasılığı tek tek olasılıkların toplamını, 5 × 0,01 = 0,05'i geçemez.

Bedeli Van'ın birincil sonucunda hesapla. Kol başına 91 hasta 0,05 düzeyi için boyutlandırılmıştı. Eşik 0,01'e inince kritik değer 1,96'dan 2,576'ya çıkıyor; standart hata yine √(288 ÷ 91) ≈ 1,78, ret sınırı 2,576 × 1,78 ≈ 4,58 derece. Beş derecelik gerçek etkinin sınıra uzaklığı (4,58 − 5) ÷ 1,78 ≈ −0,24 standart hata ve güç yaklaşık 0,59. Planın 0,80'i, tabloya tek bir düzeltme eklenince yüzde altmışa düşüyor.

Gücü geri almak hasta demek. Formül aynı, yalnız iki z'nin toplamı 3,418'e büyüdü: 2 × 3,418² × 144 ÷ 25 ≈ 134,6, yani kol başına 135; yüzde on beşlik kayıpla 135 ÷ 0,85 ≈ 158,8, yani 159. Oran 135 ÷ 91 ≈ 1,48. Güç dersinde binde beşlik eşiğin 1,69 kat hasta istediğini görmüştün; şimdi aynı faturanın daha küçük bir sürümü, ikincil sonuçlar yüzünden birincil sonuca kesiliyor.

Testler birbirine bağlıysa

Bonferroni sınırı her bağımlılık yapısında tutar, ama tutarken çoğu zaman gereğinden sıkı kalır. Ağrı puanı, yürüme hızı ve merdiven süresi aynı dizin aynı gün nasıl çalıştığını ölçüyor; biri iyi çıkan hastada ötekiler de iyi çıkma eğiliminde. Uç bir durum kur: bu üç sonuç tam birlikte hareket etsin, bükülme açısı ve memnuniyet ayrı dursun. Aile o zaman üç bağımsız soruya iniyor ve düzeltmesiz yanılma olasılığı 1 − 0,95³ ≈ 0,143. Beşe bölünmüş eşikle aynı aile 1 − 0,99³ ≈ 0,030 veriyor, hedeflenen 0,05'in epey altında.

Kazanç görünmez bir yerde kayboluyor: yüzde beşlik payın bir kısmı hiç harcanmadan geri dönüyor, bedeli ise güç olarak ödeniyor. Sonuçlar arasındaki ilişki güçlendikçe Bonferroni daha tutucu olur. Birbirine yakın sonuçları tek bir bileşik ölçüde toplamak ya da ilişkiyi hesaba katan yeniden örnekleme yöntemleri kullanmak bu kaybı azaltabilir; hangisinin uygun olduğu analiz planında, veri görülmeden yazılmalı.

Sıralı eşikler ve sabit sıra

Anıl'ın aklına kurgu bir sonuç tablosuyla kuralları sınamak geliyor. Beş p değeri küçükten büyüğe dizilsin: bükülme 0,004, ağrı 0,011, yürüme hızı 0,020, merdiven 0,038, memnuniyet 0,30. Bonferroni yalnız ilkini kabul ediyor, çünkü yalnız o 0,01'in altında.

Holm'un 1979'da önerdiği kural aynı aile boyu güvenceyi daha az kayıpla veriyor. En küçük p değeri 0,05 ÷ 5 = 0,01 ile, ikincisi 0,05 ÷ 4 = 0,0125 ile, üçüncüsü 0,05 ÷ 3 ≈ 0,0167 ile karşılaştırılıyor ve eşik her adımda gevşiyor. İlk eşiği geçemeyen p değerinde durulur ve ondan büyük olanların hiçbiri reddedilmez. Anıl'ın tablosunda 0,004 ve 0,011 geçiyor, 0,020 takılıyor; iki ret. Holm, Bonferroni'nin reddettiği her şeyi reddeder ve bazen fazlasını.

Üçüncü yol eşiği hiç bölmüyor, bunun yerine sırayı veri toplanmadan sabitliyor. Önce bükülme açısı 0,05 ile sınanır; ancak o anlamlıysa ağrıya geçilir, o da anlamlıysa yürüme hızına, ve ilk anlamsız sonuçta zincir kesilir. Her halka tam 0,05 kullandığı hâlde aile boyu hata oranı 0,05'te kalır: zincirdeki doğru sıfırların ilki ancak yüzde beş olasılıkla geçilir, ondan sonrakilere de o kapıdan geçmeden ulaşılamaz. Birincil sonucun gücü dokunulmadan korunur. Bedeli sıranın kendisinde: ikinci halka tutmazsa üçüncü sonuç ne kadar iyi görünürse görünsün doğrulayıcı bir iddiaya dönüşemez.

Aile boyu hata ile yanlış keşif payı

Tip I hata dersinde bin fikirlik ağacı kurmuş ve anlamlı bulguların ne kadarının aslında boş fikirden geldiğini yanlış pozitif risk adıyla hesaplamıştın; literatürde bu payın yanlış keşif oranı olarak da anıldığını not etmiştin. O pay çalışmalar arasında, bir alanın bütününde sayılıyordu. Benjamini ve Hochberg 1995'te aynı payı tek bir test ailesinin içinde denetleyen bir kural önerdi. p değerleri küçükten büyüğe dizilir, i'nci değer i ÷ 5 × 0,05 ile karşılaştırılır ve eşiğin altında kalan en büyük sıradaki değere kadar hepsi reddedilir.

Anıl'ın tablosunda eşikler 0,01, 0,02, 0,03, 0,04 ve 0,05. Dördüncü sıradaki 0,038, 4 ÷ 5 × 0,05 = 0,04'ün altında kaldığı için ilk dört sonuç reddediliyor; Holm'da iki, Bonferroni'de bir ret vardı. Fark bir dürüstlük farkı değil, bir hedef farkı. Aile boyu hata oranını denetlemek "tek bir yanlış ret bile istemiyorum" demek; yanlış keşif oranını denetlemek "retlerin bir kısmının yanlış olmasına, oranı küçük kaldıkça razıyım" demek. Yüzlerce belirtecin tarandığı bir keşif çalışmasında ikinci hedef makul bir alışveriş, çünkü bulunanlar zaten yeniden sınanacak. Tek bir öneriyi taşıyan doğrulayıcı bir çalışmada birinci hedef gerekiyor.

Klinik gerçeklik

Kurulun notu analiz planını değiştirmiyor, cümlesini değiştiriyor. Önerinin tek dayanağı birincil sonuç olacak; bükülme açısı 0,05 düzeyinde sınanacak ve 91 hastalık güç hesabı olduğu gibi kalacak. Dört ikincil sonuç ancak birincil sonuç anlamlıysa, veri toplanmadan yazılmış bir sırayla sınanacak: önce ağrı, sonra yürüme hızı, merdiven ve memnuniyet. Tablonun altındaki "herhangi birinde" cümlesi siliniyor; ikincil sonuçlar sıranın kesildiği yerden sonra güven aralıklarıyla betimlenecek ve yeni bir çalışmanın sorusu olarak raporlanacak.

Bu çözümün en ucuz kısmı bir karardı. Birincil sonucu veri görülmeden tek başına ilan etmek, çoklu karşılaştırma sorununu doğrulayıcı iddia düzeyinde ortadan kaldırıyor ve güç hesabını olduğu gibi bırakıyor. Anıl kendi notuna bir satır ekliyor: ikincil sonuçların sırası klinik önem sırası mı, yoksa hangisinin tutacağına dair bir tahmin mi? Güllü Hanım sorunun yerinde olduğunu söylüyor ve Bedriye Hanım'a gerekçeyi protokole yazmasını öneriyor.

Bir makale okurken önce kaç sonucun sınandığını say, sonra hangi sonucun birincil ilan edildiğini ve bunun kayıtta nerede yazdığını ara. Fonksiyonel tıp literatüründe bir takviyenin on iki belirteçten ikisini değiştirdiği bildiriliyorsa, ailenin büyüklüğünü ve düzeltmenin türünü bilmeden o iki sonuç tartılamaz. Yöntem bölümü "çoklu karşılaştırma için düzeltme yapılmamıştır" diyorsa, yazarlar okura ikincil bulguları keşif sonuçları olarak okumasını söylüyor.

Kendini sına

1. Van tablosundaki beş test bağımsızsa, hiçbir fark yokken en az bir yanlış ret olasılığını hesapla. Bu sayı neden beklenen yanlış ret sayısından, 0,25'ten farklı?
2. Beş testte Bonferroni eşiği kaçtır? Birincil sonuca uygulandığında 91 hastalık çalışmanın beş derecelik etki için gücü neden 0,80'den 0,59'a iner?
3. Ağrı, yürüme hızı ve merdiven süresi tam birlikte hareket ediyorsa aile kaç bağımsız soruya iner? Beşe bölünmüş eşik bu durumda neden tutucudur?
4. Anıl'ın tablosuna Holm kuralını adım adım uygula. Hangi p değerinde durursun?
5. Sabit sıralı sınamada her halka neden tam 0,05 kullanabiliyor? İkinci halka tutmazsa üçüncü sonuca ne olur?
6. Aynı tabloda Benjamini–Hochberg kuralı kaç ret verir? Bu kural hangi çalışmada, hangisinde uygun olmaz?

Bir sonraki derse köprü

Van tablosunda ailenin büyüklüğü sayılabiliyordu: beş satır, protokolde veri öncesinde yazılmış. Bir analizin yol ayrımları ise çoğu zaman hiçbir tabloda görünmez; hangi haftanın alınacağı, hangi hastaların dışarıda bırakılacağı, hangi değişkenle düzeltme yapılacağı veri görüldükten sonra seçildiğinde de örtük bir test ailesi büyür. p-hacking dersinin sorusu bu olacak: sayılmamış karşılaştırmalar p değerini nasıl yüzde beşin altına çeker ve bir okur bunu yayımlanmış bir makalede nasıl fark eder?