ROC eğrisi

Açılış sahnesi

Bir tanısal doğruluk makalesinin özetinde yeni bir kan belirteci için şu cümle var: "Duyarlılık yüzde 75, özgüllük yüzde 80." Aynı makalenin ek tablosunu açınca bu iki sayının yalnız bir satır olduğunu görüyorsun. Tabloda dört ayrı sınır değer denenmiş ve her birinde başka bir duyarlılık, başka bir özgüllük yazıyor. Sınır düşürüldüğünde duyarlılık 0,97'ye çıkıyor ama özgüllük 0,30'a iniyor; sınır yükseltildiğinde özgüllük 0,90'a çıkıyor ama duyarlılık 0,55'e düşüyor.

Özetteki cümle eksikti. Doğrusu "bu sınırda duyarlılık yüzde 75" olmalıydı, çünkü duyarlılık ve özgüllük testin değil, testin belirli bir eşikte kullanılmasının özelliği. O zaman şu soru kalıyor: eşikten bağımsız olarak testin kendisi ne kadar iyi ayırt ediyor? Bu ders o soruya cevap veren grafiği, altında kalan alanı ve o alanın söylemediği şeyleri anlatıyor. Bütün sayılar kurgudur.

Bu derste ne olacak

Önce ek tablodaki dört eşiği birer nokta olarak bir grafiğe yerleştireceğiz ve eğrinin nasıl ortaya çıktığını göreceksin. Sonra eğrinin altındaki alanı yamuklara bölüp elle hesaplayacağız. Ardından bu alanın ne demek olduğunu yedi kişilik küçük bir grupta, hasta–sağlam çiftlerini tek tek sayarak göstereceğiz. Son bölüm alanın üç sınırına ayrılıyor: eğrinin şeklini, doğru eşiği ve kalibrasyonu söylemiyor; yaygınlıktan da habersiz.

Sıfır noktası

Dikey eksende duyarlılık, yani yakalanan hastaların oranı durur. Yatay eksende yanlış pozitif oranı, yani boşuna alarm verilen sağlıklıların oranı durur ve bu 1 − özgüllüktür. Sol üst köşe ideal noktadır: bütün hastalar yakalanmış, hiç sağlıklıya alarm verilmemiş. Sol alttan sağ üste giden köşegen ise işe yaramaz testtir; o çizgi üzerinde her eşik, hastalara ve sağlıklılara aynı oranda pozitif sonuç verir, tıpkı yazı tura atmak gibi.

Ek tablonun dört satırını bu eksenlere taşı. Özgüllük 0,90 ve duyarlılık 0,55 olan eşik, 1 − 0,90 = 0,10 olduğu için (0,10; 0,55) noktasına düşer. Öteki üç eşik (0,20; 0,75), (0,40; 0,88) ve (0,70; 0,97) noktalarını verir. Bunlara iki uç eklenir: herkese "negatif" diyen eşik (0; 0), herkese "pozitif" diyen eşik (1; 1). Altı noktayı soldan sağa birleştirdiğinde testin ROC eğrisi çıkar ve eşik sola doğru kaydıkça, yani yükseldikçe, iki sayının birlikte hareket ettiğini tek bakışta görürsün.

Mekanizma

Eğrinin altındaki alan

Alanı hesaplamak için eğrinin altını dikey şeritlere böl; her şerit bir yamuktur ve alanı, iki kenarın ortalaması çarpı genişliktir. İlk şerit 0 ile 0,10 arasında: (0 + 0,55) ÷ 2 × 0,10 ≈ 0,028. İkincisi 0,10 ile 0,20 arasında: (0,55 + 0,75) ÷ 2 × 0,10 = 0,065. Üçüncüsü 0,20 ile 0,40 arasında: (0,75 + 0,88) ÷ 2 × 0,20 ≈ 0,163.

Son iki şerit daha geniş. 0,40 ile 0,70 arasında (0,88 + 0,97) ÷ 2 × 0,30 ≈ 0,278, 0,70 ile 1 arasında (0,97 + 1) ÷ 2 × 0,30 ≈ 0,296. Beş yamuğun toplamı yaklaşık 0,83 eder. Köşegenin altındaki alan tam 0,5 olduğu için, bu test köşegenden belirgin biçimde yukarıda ama sol üst köşeye de yapışık değil.

Alan ne demek: çiftleri saymak

Alanın sezgisel yorumunu görmek için küçük bir gruba in. Üç hastada belirteç değerleri 7, 9 ve 12 puan; dört sağlam kişide 3, 5, 8 ve 10 puan olsun. Bir hasta ile bir sağlamı eşleştirmenin 3 × 4 = 12 yolu vardır. Her çiftte hastanın değeri sağlamınkinden yüksek mi diye bak. 7 puanlık hasta 3 ve 5'i geçer, 8 ve 10'u geçemez; 9 puanlık hasta 3, 5 ve 8'i geçer; 12 puanlık hasta dördünü de geçer.

Hastanın önde olduğu çiftler 2 + 3 + 4 = 9, oran 9 ÷ 12 = 0,75. Şimdi aynı yedi değerden eşiği yukarıdan aşağı kaydırarak bir ROC eğrisi çiz. Merdiven biçimli bir eğri çıkar ve altındaki alan 0,25 × 1/3 + 0,25 × 2/3 + 0,5 × 1 = 0,75 olur. İki yol aynı sayıyı verdi, çünkü eğri altındaki alan tanım gereği bu sayımdır.

Bu yorum AUC'nin ne olduğunu açıkça söylüyor: bir sıralama ölçüsü. Test, hastayı sağlamın üstüne koyabiliyor mu? 0,5 bunun yazı turadan farksız olduğunu, 1,0 her çiftte doğru sıralandığını söyler. Ama sıralama bir sınıflama değildir; hangi değerden sonra "pozitif" deneceği, sıralamanın içinde yazmaz.

Neden yararlı

Eğrinin birinci yararı eşikten bağımsız olmasıdır: iki testi, her birinin keyfi bir sınırında değil, bütün eşik aralığında karşılaştırırsın. İkincisi, duyarlılık ve özgüllükten türediği için yaygınlıktan bağımsızdır ve bir çalışmadan başka bir ortama taşınabilir. Üçüncüsü, eşik seçimini görünür kılar: eğri üzerindeki her nokta bir seçenektir ve hangisinde durulacağı bir karardır.

Birinci sınır: tek sayı eğrinin şeklini söylemez

Alan, şeklin nasıl olduğunu söylemez. Kesişen iki eğrinin alanı aynı olabilir; biri klinikte kullanacağın bölgede iyidir, öteki kullanmayacağın bölgede. Klinikte de eğrinin tamamı nadiren kullanılır, çoğu zaman yalnız kabul edilebilir yanlış pozitif oranının altında kalan dar bir bölgeye bakılır. Bizim testte bu bölge 0 ile 0,20 arasıysa, toplam 0,83'ün yalnız 0,028 + 0,065 ≈ 0,093'ü o bölgeden gelir.

İkinci sınır: alan eşiği ve yaygınlığı söylemez

Aynı eğri üzerindeki iki noktayı karşılaştır ve bin kişilik bir gruba uygula; yüzü hasta, dokuz yüzü sağlam olsun. (0,10; 0,55) noktasında 100 × 0,45 = 45 hasta kaçırılır ve 900 × 0,10 = 90 sağlam kişiye yanlış alarm verilir. (0,40; 0,88) noktasında kaçırılan hasta 100 × 0,12 = 12'ye iner ama yanlış alarm 900 × 0,40 = 360'a çıkar. Alan iki durumda da 0,83; hangisinin seçileceğini söylemez.

Yaygınlık da alanın dışında kalır. (0,10; 0,55) noktasındaki pozitif öngörü değeri, hastalık yüzde bir sıklıktaysa yaklaşık 0,05, yüzde otuz sıklıktaysa yaklaşık 0,70 çıkar. Alan iki ortamda da aynı 0,83'tür, çünkü duyarlılık ve özgüllükten türer; pozitif bir sonucun o kişi için ne anlama geldiğini ise ancak ön test olasılığıyla birlikte hesaplayabilirsin. Taşınabilirlik ile kişiye özgü anlam arasındaki bu ayrım, önceki iki dersteki ayrımın aynısı.

Üçüncü sınır: ayırt etme kalibrasyon değildir

İkisi birbirinden bağımsızdır. Bir risk modeli üç kişiye 0,05, 0,10 ve 0,20 risk veriyor olsun ve gerçek riskler bunlar olsun. Aynı modeli her tahmini ikiyle çarpacak biçimde bozarsan 0,10, 0,20 ve 0,40 verir; sıralama değişmediği için AUC aynı kalır, ama her kişiye söylenen sayı gerçeğin iki katıdır. Klinik kullanım için ikisi de gerekir ve AUC tek başına bir risk modelinin yeterliliğini göstermez.

Klinik yarar ayrı bir soru

AUC, iki hata türüne eşit ağırlık verir. Yanlış pozitif ve yanlış negatif dersi (L01-P05-M01-D05) ise iki hatanın bedelinin genellikle eşit olmadığını göstermişti. Bu yüzden bir test alan olarak iyi olup, klinik olarak anlamlı eşik aralığında kötü olabilir.

Tanımın son sorusu sanıldığından daha sık "hayır" cevabı alır. Bazen doğru strateji hiç test yapmamak, bazen herkese aynı yaklaşımı uygulamaktır ve bir testin bu iki basit seçenekten daha iyi olduğunu göstermek ayrı bir iştir.

AUC değerleri kabaca ne demek

Aşağıdaki aralıklar yaygın bir kaba yorumdur. Bağlamdan bağımsız değildir: zor bir ayırt etme probleminde 0,75 değerli olabilir, kolay bir problemde 0,85 yetersiz kalabilir.

• 0,5 — rastgele, bilgi yok
• 0,6–0,7 — zayıf ayırt etme
• 0,7–0,8 — kabul edilebilir
• 0,8–0,9 — iyi
• 0,9 üstü — çok iyi

Kartın son cümlesi yedi kişilik örnekte somutlaşıyor. Üç hasta ile dört sağlamdan hesaplanan 0,75, tek bir kişinin değeri değişse kolayca 0,67 ya da 0,83'e kayardı. Küçük bir çalışmada bildirilen bir alan bu yüzden bir güven aralığıyla gelmeli; aralık verilmemişse sayı tek başına yorumlanamaz.

Klinik gerçeklik

Bir ROC grafiği ya da AUC bildirimi okuduğunda önce alanın bir güven aralığıyla verilip verilmediğine bak. Sonra modelin geliştirildiği veriden başka bir veride, yani dış doğrulamada sınanıp sınanmadığını sor. Ardından kalibrasyonun ve klinik yarar analizinin bildirilip bildirilmediğine bak. Yalnız tek bir AUC sayısı veriliyorsa, elinde testin ya da modelin bir özelliği var, yeterliliği değil; ve hiçbir alan, sonucun kararı değiştirip değiştirmeyeceği sorusunun yerini tutmaz.

Kendini sına

1. ROC eğrisinin iki eksenini adlandır. Sol üst köşe ve köşegen ne anlama gelir?
2. Özgüllüğü 0,90 ve duyarlılığı 0,55 olan eşik grafikte hangi noktaya düşer? Neden?
3. Açılıştaki tablonun alanını yamuklarla yeniden hesapla. Hangi şerit en büyük katkıyı veriyor?
4. Hastalarda 4, 6 ve 11, sağlamlarda 2, 5 ve 7 puan varsa, dokuz çiftten kaçında hasta önde? AUC kaçtır?
5. Aynı eğri üzerindeki iki nokta için kaçırılan hasta ve yanlış alarm sayılarını karşılaştır. Alan hangisini seçmen gerektiğini söylüyor mu?
6. Aynı AUC ile pozitif öngörü değeri neden 0,05 ile 0,70 arasında değişebiliyor?
7. Her tahmini ikiyle çarpan bir model AUC'yi neden değiştirmez? Neyi bozar?
8. Bir AUC bildiriminde aranacak dört şeyi say.

Bir sonraki derse köprü

Bu derste eğri üzerindeki her noktanın bir eşik seçeneği olduğunu ve alanın hangisini seçeceğini söylemediğini gördün. Sıradaki ders o seçimi yapıyor. Orada bir laboratuvar raporundaki referans aralığı sınırı ile bir müdahaleyi başlatan karar eşiğinin neden aynı şey olmadığını ayıracaksın. İki hatanın bedeli değiştikçe "en iyi" noktanın eğri üzerinde nasıl yer değiştirdiğini ve sınırdaki olgular için tek eşik yerine iki eşik kullanmanın ne kazandırdığını da göreceksin.