Çoklu test sorunu

Açılış sahnesi

Kırk beş yaşında, hiçbir şikâyeti olmayan bir adam, iş yerinin yıllık sağlık gününde "genel kontrol paneli" yaptırıyor. Bir hafta sonra gelen raporda yirmi dört satır var ve ikisinin yanında küçük bir yıldız duruyor. Adam raporu eşine gösteriyor: "Bir şey çıkmış." Kendini iyi hissediyor, geçen yılki raporunda yıldız yoktu ve şimdi iki satırın ne anlama geldiğini düşünmeden duramıyor.

Oysa bu rapordaki en şaşırtıcı şey yıldızların varlığı değil, yokluğu olurdu. Yirmi dört testin her birinde sağlıklı bir kişinin aralık dışı çıkma olasılığı yüzde 5 ise, hiç yıldız görmemek şanslı bir durum sayılır. Bu ders, bir panel büyüdükçe hastalık olmadan anormallik bulma olasılığının nasıl yükseldiğini tek bir panelin sayılarıyla hesaplıyor. Ardından bu olasılığı düşürmeye çalışmanın neyi feda ettiğini de hesaplıyor.

Bu derste ne olacak

Önce açılıştaki panelde en az bir aralık dışı sonuç çıkma olasılığını elle hesaplayacağız ve bunun neden bir kalite sorunu olmadığını göreceğiz. Sonra hesabın gizli varsayımını, testlerin birbirinden bağımsız olduğunu gevşetip ilişkili testlerin sonucu nasıl değiştirdiğine bakacağız. Ardından eşiği sıkılaştırarak sorunu çözmeye çalışacağız ve bunun bedelini, kaçırılan gerçek anormalliklerle ölçeceğiz. Son bölümde geniş panelin başlattığı zincire, zincirin nerede kırılabileceğine ve aynı aritmetiğin araştırmadaki karşılığına geleceğiz.

Sıfır noktası

Referans aralığını ve karar eşiğini ayıran L01-P05-M02-D08, çoğu laboratuvar testinde aralığın sağlıklı bir referans grubunun ortadaki yüzde doksan beşini kapsayacak biçimde çizildiğini göstermişti. Tanım gereği sağlıklı her yirmi kişiden biri tek bir testte aralığın dışında kalır. Tek test için bu küçük bir olasılık. Çok sayıda test aynı kişide yan yana konduğunda ise olasılıklar birikir ve bu birikimin bir adı var.

Hesabın mantığı şu. Tek bir testte normal çıkma olasılığı 0,95. Testler birbirinden bağımsızsa, iki testin ikisinin de normal çıkma olasılığı 0,95 × 0,95 ≈ 0,90 olur. Her yeni test çarpıma bir 0,95 daha ekler ve n testin hepsinin normal çıkma olasılığı 0,95'in n'inci kuvvetine iner. En az birinin anormal çıkma olasılığı bunun tümleyenidir: 1 − 0,95ⁿ.

Mekanizma

Tek bir panelin hesabı

Açılıştaki panele uygula: n = 24. Yirmi dört testin hepsinin normal çıkma olasılığı 0,95²⁴ ≈ 0,292, dolayısıyla en az birinin aralık dışı çıkma olasılığı 1 − 0,292 = 0,708. Tamamen sağlıklı bir kişinin bu paneli yaptırdığında en az bir yıldız görme olasılığı yaklaşık yüzde 71, yani dört kişiden üçüne yakın. Aynı panelde beklenen yıldız sayısı da hesaplanabilir: 24 × 0,05 = 1,2. Sağlıklı bir kişinin raporunda ortalama olarak bir yıldızdan fazlası beklenir.

Bunu bin kişilik bir iş yerine taşı. Bin sağlıklı çalışan aynı paneli yaptırırsa 1000 × 0,708 ≈ 708 kişinin raporunda en az bir yıldız çıkar. Açılıştaki adamın iki yıldızı bu yüzden bir hastalık işareti olarak değil, önce beklenen bir sonuç olarak okunmalı.

Neden bir hata değil

Bu sonucu üreten şey testlerin kalitesizliği değil, referans aralığının tanımı. Aralık sağlıklıların yüzde 95'ini içine alacak biçimde çizildiği için yüzde 5'i dışarıda bırakmak onun işi. Aralığı genişletmek çözüm olmaz, çünkü o zaman gerçekten hastalığı olan kişilerin değerleri de aralığın içinde kalır ve test hastalığı kaçırır. Tek bir testte bilinen bu takas, panel düzeyinde yalnız büyümüş olarak karşına çıkıyor.

Testler birlikte hareket ettiğinde

Yukarıdaki hesap testlerin birbirinden bağımsız olduğunu varsaydı. Gerçek bir panelde bu varsayım çoğu zaman tutmaz. Aynı organın işlevine bakan birkaç test, aynı kan hücresinden türetilen birkaç sayı birlikte hareket eder. Biri yükseldiğinde öteki de yükselme eğilimindedir, bu yüzden yirmi dört satır yirmi dört bağımsız soru sormaz.

Etkiyi görmek için uç bir durumu hesapla. Yirmi dört testin üçerli sekiz gruba ayrıldığını ve her gruptaki üç testin tam olarak birlikte hareket ettiğini varsay. O zaman panel aslında sekiz bağımsız soru soruyor: bu etkin test sayısıdır. En az bir grubun aralık dışı çıkma olasılığı 1 − 0,95⁸ ≈ 1 − 0,663 = 0,337. Bağımsız testlerde yüzde 71 olan olasılık, tam ilişkili gruplarda yüzde 34'e iniyor. Gerçek bir panel bu iki ucun arasında bir yerde durur.

Beklenen yıldız sayısı ise değişmiyor: sekiz grubun her birinde 0,05 olasılıkla üç yıldız birden yanıyor, 8 × 3 × 0,05 = 1,2. İlişki yıldızların toplamını azaltmıyor, onları kümeliyor. Bunun klinikte sinsi bir sonucu var. Aynı gruptan üç test birlikte aralık dışı çıktığında rapor tek bir rastlantı gibi değil, anlamlı bir örüntü gibi görünür. Oysa uç varsayımda o üç yıldız, tek bir yıldızın üç kez yazılmış hâlidir. Birlikte hareket eden testlerde "üç değer birden bozuk" demek, üç ayrı kanıt anlamına gelmez.

İkinci katman: düşük ön test olasılığı

Çoklu test sorunu tek başına yeterince güçlü. Üstüne pozitif öngörü değeri dersinin sonucu biniyor: belirtisiz bir kişide her bir test için ön test olasılığı düşüktür ve düşük ön test olasılığında pozitif bir sonucun gerçek bir durumu gösterme olasılığı da düşük kalır. Çok sayıda test, en az bir anormalliği neredeyse kesin kılar. Düşük ön test olasılığı da çıkan anormalliklerin çoğunun klinik bir anlam taşımamasını sağlar. İki etki birbirini katlar ve bu akademinin X rozetiyle işaretlediği geniş panel sorununun aritmetiği tam olarak budur.

Düzeltmenin bedeli

Akla gelen ilk çözüm, her testin eşiğini sıkılaştırmak. En bilinen yöntem olan Bonferroni düzeltmesi, kabul edilen yüzde 5'lik toplam hata payını test sayısına böler. Yirmi dört testlik panelde her testin payı 0,05 ÷ 24 ≈ 0,0021 olur. Panelin bütününde en az bir yanlış alarm olasılığı 1 − (1 − 0,0021)²⁴ ≈ 0,049'a iner. Bin sağlıklı çalışandan yıldız gören kişi sayısı 708'den 1000 × 0,049 ≈ 49'a düşer.

Bu kazanç bedelsiz değil. Referans aralığı, sağlıklıların ortalamasından her iki yana yaklaşık 1,96 standart sapma uzanıyordu. Yüzde 0,21'lik payla aralık her iki yana yaklaşık 3,08 standart sapmaya genişliyor. Şimdi panelin tek bir testinde gerçek bir bozukluğu olan kişileri düşün. Kurgu modelde bu kişilerin değerleri sağlıklı ortalamanın 2,5 standart sapma üstünde toplanıyor ve aynı genişlikte yayılıyor. Eski eşikte bu kişilerin yaklaşık yüzde 71'i aralık dışında kalır ve yakalanır. Yeni eşikte yalnız yüzde 28'i yakalanır. Gerçek bozukluğu olan yüz kişiden 100 × 0,71 = 71 yerine 100 × 0,28 = 28 kişi yıldız görür. Yanlış alarm on dörtte birine inerken, kaçırılan gerçek anormallik 29 kişiden 72 kişiye çıkar.

İki hata aynı terazinin iki kefesinde duruyor ve düzeltme yalnız ağırlığı bir kefeden ötekine taşıyor. Hangi dengenin doğru olduğu aritmetikten değil, iki hatanın bedelinden çıkar. Yanlış alarm bir kaygı ve birkaç tekrar testi mi getiriyor, yoksa kaçırılan bozukluk geri döndürülemez bir zarar mı? Bu yüzden klinikte asıl çözüm eşiği sıkılaştırmak değil, n'yi küçültmektir: yalnız sonucu bir kararı değiştirecek testleri istemek. Bu hem yanlış alarmı azaltır hem de her testin duyarlılığını yerinde bırakır.

Ürettiği zincir

Bir anormal sonuç nadiren orada kalır. Önce test tekrarlanır ve çoğu zaman ikincisi normal çıkar, çünkü ilki zaten rastlantısaldı. Tekrar da sınırdaysa ileri tetkik gelir, örneğin bir görüntüleme ya da ek bir panel. İleri tetkik çoğu zaman başka bir rastlantısal bulgu üretir ve zincir dallanır. Sonunda bir girişim ya da uzun bir izlem başlar, beraberinde kaygı, maliyet ve bazen bir komplikasyon getirir. Her adım tek başına makul görünür. Toplamı ise hiçbir hastalığı olmayan bir kişiye uygulanmış bir tıbbi süreçtir.

Zincir nasıl kırılır

En ucuz ve en etkili müdahale panel istenmeden önce yapılır. Her test için "sonucu kararı değiştirecek mi?" diye sorulur ve cevap hayırsa test listeye girmez. Bu, düzeltmenin bedelini hiç ödemeden n'yi küçültmenin tek yolu. Anormal bir sonuç geldiğinde değerin ne kadar dışarıda olduğu, biyolojik değişkenlik ve ölçüm hatası hesaba katılır ve aynı gruptan birlikte yanan yıldızlar tek bir bulgu sayılır. Tekrar normal çıktığında zincir orada bitmeli. "Ama ilki anormaldi" düşüncesi, tam da bu dersin tarif ettiği beklenen anormalliktir.

Araştırmadaki ikizi

Aynı aritmetik bilimsel araştırmada da çalışır. Bir çalışmada çok sayıda sonuç ölçülüp aralarında ilişki arandığında, hiçbir gerçek etki olmasa bile bir kısmı "anlamlı" çıkar. Birlikte değişimin beş açıklamasını sayan L01-P03-M01-D01, bunlardan beşincisini tam olarak böyle tarif etmişti: onlarca gösterge karşılaştırıldığında bir birlikteliğin rastlantı olması. Araştırmada buna karşı üç önlem var: hangi sonuca bakılacağının baştan belirlendiği önceden kayıt, çoklu test düzeltmesi ve bağımsız tekrarlama. Geniş bir panel, önceden kaydedilmemiş bir analize benzer; kliniğin önceden kaydı, hangi testin neden istendiğine baştan karar vermektir.

Klinik gerçeklik

Bir panel önerildiğinde ilk soru içinde kaç test olduğu, çünkü sayı büyüdükçe en az bir anormallik kesinliğe yaklaşır. İkinci soru her testin bir endikasyonu olup olmadığı; "hazır kan almışken" bir endikasyon değildir. Rapor geldiğinde yıldızları saymadan önce hangilerinin aynı gruptan geldiğine bak, çünkü birlikte hareket eden testler tek bir soru sorar.

Anormal bir sonuç karşısında sorulacak soru ise tek cümleye sığar: bu değer ne kadar dışarıda ve bende bu durumun olma ihtimali baştan ne kadardı? Eşiği sıkılaştırmak cazip bir kestirme gibi görünse de gerçek anormallikleri kaçırma pahasına çalışır. Kalıcı çözüm, sonucu bir kararı değiştirmeyecek testi baştan istememektir.

Kendini sına

1. Açılıştaki yirmi dört testlik panelde, sağlıklı bir kişide en az bir aralık dışı sonuç olasılığını hesapla. Beklenen yıldız sayısı kaç?
2. Aynı hesabı on iki testlik bir panel için yap. Panel yarıya inince olasılık da yarıya iniyor mu?
3. Bu sonuç neden bir kalite sorunu değil? Referans aralığını genişletmek neden çözüm olmuyor?
4. Etkin test sayısı nedir? Üçerli tam ilişkili gruplarda olasılık neden yüzde 34'e iniyor, beklenen yıldız sayısı neden değişmiyor?
5. Aynı gruptan üç yıldızın birlikte yanması neden üç ayrı kanıt sayılmaz?
6. Bonferroni düzeltmesi yirmi dört testte her testin payını kaça indiriyor? Bunun bedelini kurgu modeldeki sayılarla anlat.
7. Zincirin dört halkasını anlat. En etkili kırılma noktası hangisi ve neden düzeltmeden daha iyi?
8. Araştırmadaki ikizinde üç önlem ne? Kliniğin karşılığı ne?

Bir sonraki derse köprü

Bu derste anormalliği laboratuvar panelinin satırlarında aradın ve her testi, sağlıklı bir kişide yüzde 5 olasılıkla yanan bir yıldız olarak saydın. Zincirin ikinci halkasında ise başka bir şey oldu: bir görüntüleme, kimsenin aramadığı bir yapıda bir bulgu yakaladı. Sıradaki derste bu bulgunun adını, rastlantısal bulguyu kuracaksın ve görüntüye giren her yapının da bir test gibi sayılabileceğini göreceksin. Ardından sınırda çıkan tek bir değerin tekrar ölçüldüğünde neden çoğu zaman aralığa geri döndüğünü hesaplayacaksın (L01-P05-M03-D06).