AUC'nin Sınırları

Açılış sahnesi

Şubatın ilk salısı, sabah sekizi on geçiyor. Üniversite hastanesinin başhekimlik katındaki küçük salonda projeksiyon cihazı ısınıyor, perdede henüz yalnız mavi bir dikdörtgen var. Makbule Hanım ile Şeyma toplantıdan yirmi dakika önce gelmiş; masada bilgi işlemin gece gönderdiği tek sayfalık çıktı duruyor. Sayfada aynı grafiğe çizilmiş iki ROC eğrisi var. Biri makalenin dokuz değişkenli denklemi, öteki bilgi işlemin yalnız BKİ ile geçen yılki acil başvuru sayısından kurduğu basit model. İkisi de polikliniğin geçen yılki 400 hastasına uygulanmış ve iki eğrinin altında da aynı sayı yazıyor: 0,77.

"Müdürlük hangisini kullanalım diye soruyor," diyor Makbule Hanım. "İkisi aynıysa basit olanı seçeriz, değil mi?" Şeyma çıktıyı çeviriyor. Arka yüzde laboratuvarın bir notu var: idrar albümini modele eklenirse liste iyileşir mi? "Aynı alan aynı liste demek değil," diyor Şeyma, "önce kaç hastayı arayabileceğimize bakalım".

Bu derste ne olacak

Eğri altındaki alanın hangi eşiklerin ortalaması olduğunu ve kendi belirsizliğini hesaplayacaksın. Aynı alana sahip iki modelin, listenin başında ve sonunda nasıl ayrıştığını sayılarla görecek, kısmi alanı standartlaştırmayı öğreneceksin. Alanın yaygınlıktan bağımsız olmasının iki yüzünü pozitif öngörü değeriyle sınayacak, sonra yeni bir belirteç eklendiğinde alan farkının, onun testinin ve yeniden sınıflama ölçülerinin neyi kaçırdığını inceleyeceksin.

Metin

Alan bütün eşiklerin ortalamasıdır

ROC eğrisi dersinde alanı yamuklara bölüp toplamış, kesişen eğrilerin ve kısmi alanın adını koymuştun (L01-P05-M02-D07). Ayrım gücü dersinde de aynı alanın çift sayımı olduğunu görmüştün. Buna bir okuma daha eklenebilir: alan, yanlış pozitif oranı sıfırdan bire kadar her değeri eşit ağırlıkla alan bir ortalama duyarlılıktır. Herkese "riskli" diyen eşik de, kimseye demeyen eşik de bu ortalamaya aynı payla girer.

James Hanley ile Barbara McNeil 1982'de Radiology'de yayımlanan "The meaning and use of the area under a receiver operating characteristic (ROC) curve" makalesinde alanın Wilcoxon istatistiğiyle aynı niceliği kestirdiğini gösterip buradan kapalı bir standart hata formülü türettiler. Formülün iki yardımcı terimi alandan hesaplanır: Q1 = 0,77 ÷ (2 − 0,77) = 0,77 ÷ 1,23 ≈ 0,626 ve Q2 = 2 × 0,77² ÷ 1,77 ≈ 0,670. Bunlar 92 olay ve 308 olaysızla birleşince standart hata yaklaşık 0,031 çıkıyor. Bu, 0,77'nin çevresinde 0,71'den 0,83'e uzanan bir güven aralığı demek; bilgi işlemin sayfasında böyle bir aralık yok.

Aynı alan, iki ayrı liste

Poliklinikte iki hemşire yıl boyunca en fazla kırk hastayı düzenli arayabiliyor. Liste bu yüzden 400 hastanın en riskli kırkıyla sınırlı. Şeyma iki modeli de bu kesmede sayıyor.

Kırk kişilik listede makalenin denklemi için duyarlılık 25 ÷ 92 ≈ 0,27, özgüllük 293 ÷ 308 ≈ 0,951. Basit modelde duyarlılık 33 ÷ 92 ≈ 0,36, özgüllük 301 ÷ 308 ≈ 0,977. Aynı kırk telefonla basit model sekiz başvuru adayını fazladan buluyor ve sekiz hastayı daha az boşuna arıyor. Liste 240 hastaya, örneğin yalnız kısa mesaj gönderilecek geniş bir gruba açılınca sıra dönüyor: makalenin denklemi 13 olayı dışarıda bırakırken basit model 17 olayı bırakıyor.

Nedeni eğrilerin biçiminde. Geçen yıl dört beş kez acile gitmiş birkaç hasta basit modelin listesinin tepesine yerleşiyor ve neredeyse hepsi yine başvuruyor; ama bu değişken kalan hastaların çoğunu birbirinden ayırmıyor. Makalenin denklemi ise geniş ortada daha düzgün sıralıyor. İki eğri yanlış pozitif oranının yaklaşık 0,32 olduğu yerde kesişiyor. Soldaki üstünlük ile sağdaki üstünlük alan hesabında birbirini götürüyor ve toplam aynı kalıyor.

Kısmi alanı ölçeklemek

Kırk kişilik listede yanlış pozitif oranı basit modelde 7 ÷ 308 ≈ 0,02, makalenin denkleminde 15 ÷ 308 ≈ 0,05. Şeyma bölgeyi biraz geniş tutup sıfır ile 0,10 arasındaki alanı hesaplıyor: makalenin denklemi için 0,0257, basit model için 0,0427. Ham kısmi alan okunması zor bir sayıdır; bu bölgede kusursuz bir eğri 0,10, köşegen 0,005 alır.

Donna McClish 1989'da Medical Decision Making'de yayımlanan "Analyzing a portion of the ROC curve" makalesinde eğrinin önceden seçilmiş bir yanlış pozitif aralığındaki alanını ve varyansını ele aldı; yaygın ölçekleme de onun adıyla anılır. Basit modelde (0,0427 − 0,005) ÷ (0,10 − 0,005) = 0,0377 ÷ 0,095 ≈ 0,397, standart değer 0,5 × (1 + 0,397) ≈ 0,70. Makalenin denkleminde 0,0207 ÷ 0,095 ≈ 0,218, standart değer 0,5 × 1,218 ≈ 0,61. Toplam alanın eşit gösterdiği iki model, telefon listesinin çalıştığı bölgede açıkça ayrılıyor.

Bölge veriye bakmadan seçilmeli. Önce eğriler çizilip en büyük farkın görüldüğü dilim seçilirse, çapraz doğrulama dersindeki ayar parametresi hatası bu kez bölge sınırları için yapılmış olur.

Yaygınlıktan bağımsızlığın iki yüzü

Alan duyarlılık ve özgüllükten türediği için olay sıklığı değişince kıpırdamaz. Bu, bir modeli başka bir hastaneye taşırken işe yarar, ama listedeki bir hastanın gerçekten başvurup başvurmayacağını söylemez. O soruyu pozitif öngörü değeri (PÖD) cevaplar (L01-P05-M02-D04).

Poliklinikte olay sıklığı 92 ÷ 400 = 0,23. Basit modelin kırk kişilik kesmesi bin hastaya uygulanırsa 230 olaydan yaklaşık 82,5'i yakalanır, 770 olaysızdan yaklaşık 17,5'i boşuna aranır ve PÖD 82,5 ÷ 100 ≈ 0,83 olur. Dış doğrulama dersindeki ilçede sıklık 0,11'di. Aynı duyarlılık ve özgüllükle bin hastada 39,5 olay ve 20,2 boşuna arama çıkar; PÖD 39,5 ÷ 59,7 ≈ 0,66. Alan iki yerde de 0,77 kalır, arayan hemşirenin telefonunda ise her üç aramadan biri boşa gider. Üstelik ilçede duyarlılık ile özgüllüğün aynı kalacağı da bir varsayım; olgu karması değişince onlar da kayar.

Yeni belirteç: alan farkı ve testi

Laboratuvarın sorusuna Şeyma makale büyüklüğünde bir benzetim tablosuyla bakıyor: 1.012 hasta, 173 olay ve öteki değişkenlerden bağımsız, bir standart sapmalık artışta odds'u 1,4 katına çıkaran bir belirteç. Belirteç eklenince lojistik modelde katsayısı 0,38, standart hatası 0,095; olabilirlik oranı testinde ki-kare 16,5, p yaklaşık 0,00005. Alan ise 0,806'dan 0,817'ye çıkıyor, fark yaklaşık 0,01. İki alanı karşılaştıran DeLong testi bu farka p 0,075 veriyor.

Aynı veride, aynı soruya iki test zıt cevap verdi. Andrew Vickers, Angel Cronin ve Colin Begg 2011'de BMC Medical Research Methodology'de yayımlanan "One statistical test is sufficient for assessing new predictive markers" çalışmasında bu çelişkinin kaynağını benzetimle gösterdiler: iç içe modellerde alan testi aşırı tutucudur. Olga Demler, Michael Pencina ve Ralph D'Agostino Sr. 2012'de Statistics in Medicine'de, belirteç işe yaramazken alan farkının dağılımının normal olmadığını, DeLong testinin varsayımının bu yüzden çöktüğünü gösterdiler.

Şeyma bunu kendi tablosunda deniyor. Sonuçla hiç ilişkisi olmayan bir belirteçle 2.000 tekrarda olabilirlik oranı testi 106 kez anlamlı çıkıyor, 106 ÷ 2.000 ≈ 0,053. DeLong testi yalnız bir kez. Odds oranı 1,2 olan zayıf ama gerçek bir belirteçle bin tekrarda olabilirlik oranı testi 551 kez, DeLong testi 50 kez anlamlı. Katsayı testi zaten sorulan soruyu soruyor; alan farkı ise ancak bir güven aralığıyla, betimleyici olarak raporlanmalı.

Yeniden sınıflama ölçüleri

Pencina ve arkadaşları 2008'de "Evaluating the added predictive ability of a new marker: from area under the ROC curve to reclassification and beyond" başlıklı Statistics in Medicine makalesinde alanın yanına iki ölçü önerdiler. İkisi de belirteçli ve belirteçsiz modelin öngördüğü riskleri hasta hasta karşılaştırır.

Şeyma tabloya kurgu arama sınırlarıyla üç kategori koyuyor: yüzde ondan düşük, on ile otuz arası, otuzun üstü. 173 olaylıdan 16'sı yukarı çıkıyor, 10'u aşağı iniyor: (16 − 10) ÷ 173 ≈ 0,035. 839 olaysızdan 72'si aşağı iniyor, 48'i yukarı çıkıyor: (72 − 48) ÷ 839 ≈ 0,029. NRI ikisinin toplamı, 0,063; IDI yaklaşık 0,020.

Bu 0,063 sıklıkla "hastaların yüzde altısı doğru yeniden sınıflandı" diye okunur, oysa paydaları ayrı iki oranın toplamıdır ve hiçbir hasta grubunun yüzdesi değildir. Kerr ve arkadaşları 2014'te Epidemiology'de yayımlanan eleştirel incelemede iki bileşenin ayrı raporlanmasını istediler, üç ve daha çok kategoride kullanılmamasını önerdiler. Margaret Pepe ve arkadaşları 2015'te Statistics in Biosciences'ta, eğitim verisinde kurulan modellerle hesaplanan NRI'nin hiçbir bilgi taşımayan bir belirteçte bile bağımsız sınama verisinde pozitif çıkabildiğini gösterdiler. Kalibrasyonu bozuk modeller bu ölçülerde ödüllendirilebilir.

Salona dönüş

Perdede artık eğriler görünüyor. Şeyma iki cümle hazırlıyor. Kırk kişilik telefon listesi için basit model sekiz başvuru adayını fazladan buluyor, standart kısmi alanı 0,70'e karşı 0,61; geniş kısa mesaj listesinde ise makalenin denklemi birkaç olayı daha az kaçırıyor. İdrar albümini sorusu için de alan farkına değil katsayı testine bakılmalı; yeniden sınıflama tablosu verilecekse olaylı ve olaysız bileşenleri ayrı yazılmalı.

Makbule Hanım not defterine bir soru ekliyor: kırk hasta sınırı neden kırk? Arama emeğiyle kaçırılan bir başvurunun bedeli terazinin iki kefesine konmadan bu sayı da keyfi kalır. Kapı açılıyor, toplantı başlıyor.

Kendini sına

1. Alanı "bütün yanlış pozitif oranlarında ortalama duyarlılık" diye okumak, kullanılmayan eşikler hakkında ne söyler?
2. Hanley–McNeil formülüyle 0,77'nin standart hatası yaklaşık kaçtır? İki modelin alanı aynıyken bu aralık neden önemlidir?
3. Kırk kişilik listede iki modelin duyarlılık ve özgüllüğünü hesapla. 240 kişilik listede üstünlük neden yer değiştiriyor?
4. 0 ile 0,10 arasındaki ham kısmi alan 0,0427 ise standart değer kaçtır? Bölge veriye bakılarak seçilirse ne olur?
5. Aynı duyarlılık ve özgüllükle PÖD neden 0,83'ten 0,66'ya iniyor?
6. Belirtecin olabilirlik oranı testi p 0,00005, DeLong testi p 0,075 verdiyse hangisine güvenirsin?
7. NRI 0,063 bulunduysa "hastaların yüzde altısı" okuması neden yanlıştır?

Bir sonraki derse köprü

Makbule Hanım'ın sorusu açık kaldı: hangi risk düzeyinden sonra bir hastayı aramak, aramamaktan iyidir? Karar eğrisi analizi dersi bu soruyu soracak. Arama emeğinin ve kaçırılan başvurunun bedeli bir eşik olasılığında nasıl tartılır, net fayda bu tartıdan nasıl hesaplanır, ve bir model, herkesi aramak ile kimseyi aramamak seçeneklerinden hangi eşik aralığında daha iyidir?