Karar Eğrisi Analizi

Açılış sahnesi

Şubatın ikinci perşembesi, öğle arası. Hastanenin zemin katında, danışmanın arkasındaki dar santral odasında üç telefon aynı anda çalıyor. Santral sorumlusu Hanife Hanım kulaklığını boynuna indirip Makbule Hanım'a dönüyor: "Kırk kişiyi haftaya yayarsak hemşirelere yeter. Seksen derseniz ben hat bulamam. Ama kimi arayacağımızı siz söyleyeceksiniz". Şeyma, masadaki boş arama formunun arkasına iki eksen çiziyor. Yataya "eşik", dikeye "net fayda" yazıyor.

Makbule Hanım geçen haftaki toplantıdan bir soruyla çıkmıştı: kırk kişilik sınırın gerekçesi neydi? Şimdi soruyu tersinden kuruyor. Bir başvuruyu önceden yakalamak için kaç hastayı boşuna aramaya razıyız? O sayı konmadan hiçbir liste boyu savunulamaz.

Bu derste ne olacak

Tedavi eşiğini bir değişim oranına çevirecek, net faydayı iki formülle elle hesaplayacaksın. Herkesi ve kimseyi arama seçeneklerinin net faydasını bulacak, bir karar eğrisini okuyup modelin hangi eşik aralığında işe yaradığını göreceksin. Bozuk kalibrasyonun net faydayı nerede eksiye düşürdüğünü sayılarla izleyecek, sonra faydayı "yüz hastada kaçınılan arama" ve standart ölçekle yeniden yazacaksın. Son olarak makul bir eşik aralığının nasıl seçildiğini tartışacaksın.

Metin

Eşikten değişim oranına

Tedavi eşiğinin yararla zararın oranından geldiğini daha önce hesaplamıştın: yarar 3, zarar 1 iken eşik 1 ÷ (1 + 3) = 0,25 çıkmıştı (L01-P05-M03-D07). Karar eğrisi analizi aynı ilişkiyi tersinden okur. Yararı ve zararı ayrı ayrı sormak yerine eşik olasılığını, pt, doğrudan sorar ve oranı ondan çıkarır.

Eşik 0,20 ise oran 0,20 ÷ 0,80 = 0,25. Bunun anlamı, bir boş aramanın bir yakalanan başvurunun dörtte biri kadar maliyet taşıdığıdır. Başka bir deyişle ekip, bir başvuruyu yakalamak için en çok dört hastayı boşuna aramaya razıdır. Eşik 0,10'da oran 0,10 ÷ 0,90 ≈ 0,111, yani dokuz boş arama. Eşik 0,33'te oran yaklaşık 0,49, iki boş arama.

Andrew Vickers, Ben Van Calster ve Ewout Steyerberg 2016'da BMJ'de yayımlanan "Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests" makalesinde bu oranın basit bir soruyla elde edilebileceğini yazdılar: bir kanseri bulmak için en çok kaç hastaya biyopsi önerirdin? Poliklinikte biyopsinin yerini arama, kanserin yerini acil başvurusu alıyor.

Net fayda: kazançtan harcamayı düşmek

Oran elde olunca faydayı tek bir birimle yazmak mümkün. Doğru pozitifler kazanç sayılır, yanlış pozitifler oranla çarpılıp kazanç birimine çevrilir ve düşülür. Hasta sayısına bölmek sonucu veri setinin boyundan bağımsız kılar.

Andrew Vickers ile Elena Elkin, Medical Decision Making dergisinde 2006'da çıkan "Decision curve analysis: a novel method for evaluating prediction models" makalesinde bu sayıyı bütün eşikler boyunca çizmeyi önerdiler; ortaya çıkan grafik karar eğrisidir. Ölçünün kökü daha eskidir. Valentin Rousson ile Thierry Zumbrunn 2011'de BMC Medical Informatics and Decision Making'de, bu tanımın Charles Sanders Peirce'ün 1884'te Science'ta yayımladığı "The numerical measure of the success of predictions" yazısındaki "yöntemin yararı" ölçüsüne karşılık geldiğini belirttiler.

Şimdi AUC'nin sınırlarını incelediğin dersteki kırk kişilik listelere dönelim. Basit model 33 olay yakalamış, 7 hastayı boşuna aramıştı; makalenin denklemi 25 olay yakalamış, 15 boş arama yapmıştı. Eşik 0,20 alınırsa basit model için 33 ÷ 400 = 0,0825 ve 7 ÷ 400 × 0,25 ≈ 0,0044, net fayda yaklaşık 0,078. Makalenin denklemi için 25 ÷ 400 = 0,0625 ve 15 ÷ 400 × 0,25 ≈ 0,0094, net fayda yaklaşık 0,053. Aynı alan, aynı liste boyu, yüz hastada yaklaşık 2,5 net olay fark.

Herkesi aramak, kimseyi aramamak

Bir model ancak modelsiz yapılabilecek şeylerle kıyaslanınca anlam kazanır. Kimseyi aramamanın net faydası tanım gereği sıfırdır: doğru pozitif yok, yanlış pozitif yok. Herkesi aramak ise 92 olayın tamamını yakalar ama 308 olaysızın tamamını da arar. Eşik 0,20'de 92 ÷ 400 = 0,23 ve 308 ÷ 400 × 0,25 = 0,1925; net fayda 0,23 − 0,1925 = 0,0375.

Herkesi aramanın net faydası eşik yükseldikçe hızla düşer ve eşik olay sıklığına, burada 0,23'e, eşit olduğunda sıfırı keser. Eşik 0,50'de 0,23 − 0,77 × 1 = −0,54 olur. O noktada herkesi aramak, kimseyi aramamaktan belirgin biçimde kötüdür. Bir karar eğrisi bu iki çizgiyi her zaman gösterir. Model ancak ikisinin de üstünde kaldığı eşiklerde bir şey katıyor demektir.

Eğriyi okumak

Karar eğrisi analizini ROC eğrisi dersinde yalnız tanımıyla görmüştün: iki hatanın farklı bedellerini hesaba katan ve "kullanmak kullanmamaktan iyi mi" diye soran yöntem (L01-P05-M02-D07). Şeyma şimdi onu çiziyor, ama önce bir engelle karşılaşıyor. Karar eğrisi bir risk olasılığı ister, çünkü her eşikte listeye kimin gireceğini hastanın öngörülen riski belirler. Bilgi işlemin basit modeli yalnız bir sıralama göndermişti. Onun eğrisi çizilemiyor, kırk kişilik listesi ancak sabit bir strateji olarak tartılabiliyor.

Makalenin denklemi ise olasılık veriyor. Kalibrasyon dersinde arşivde incelediğin dört dilim burada tekrar işe yarıyor: yüzer hastalık dilimlere öngörülen riskler 0,05, 0,12, 0,25 ve 0,50'ydi, gözlenen olaylar 10, 16, 26 ve 40.

Model, eşik yaklaşık 0,10 ile 0,40 arasındayken iki varsayılan seçeneğin de üstünde. Bu aralığın dışında ya herkesi aramak ya da kimseyi aramamak daha iyi.

Eşik 0,20'deki satır iki modeli yan yana koymayı da mümkün kılıyor. Makalenin denkleminin kendi riskine göre kurduğu iki yüz kişilik liste 0,081 veriyor, basit modelin kırk kişilik listesi 0,078. Eşik yükseldikçe basit modelin kısa listesi öne geçiyor, 0,30'da 0,075'e karşı 0,036. İki sayının eşitlendiği yer, 33 − 7 × oran = 66 − 134 × oran denkleminden, oran ≈ 0,26 ve eşik ≈ 0,21. Santralde sorulan sınırın gerekçesi bu hesapta saklı. Kırk kişilik liste, ekip bir başvuru için en çok dört kadar boş aramaya razıysa savunulur. Dokuz boş aramaya razıysa, kırk sınırı net faydayı masada bırakıyor ve bu bir hat kapasitesi sorusudur, eğrinin sorusu değil.

Bozuk kalibrasyon faydayı nerede yer

Kalibrasyon dersinde makalenin denkleminin poliklinikte uçlara fazla gittiğini bulmuştun. Düşük dilimde 0,05 dediği hastalarda gerçek sıklık 0,10'du, yüksek dilimde 0,50 dediği hastalarda 0,40. Bu kusur karar eğrisinde tam iki yerde görünüyor.

Eşik 0,08'de oran 0,08 ÷ 0,92 ≈ 0,087. Model en alt dilimi 0,05 dediği için listeden atıyor ve 300 hastayı arıyor: 82 ÷ 400 = 0,205, 218 ÷ 400 × 0,087 ≈ 0,047, net fayda yaklaşık 0,158. Herkesi aramak ise 0,23 − 0,77 × 0,087 ≈ 0,163 veriyor. Model, hiçbir model kullanmamaktan kötü. Nedeni, dışarıda bırakılan dilimin gerçek riskinin 0,10 olması ve eşiğin üstünde kalması. Eşik 0,45'te bu kez tersi oluyor. Model 0,50 dediği dilimi arıyor, ama o dilimin gerçek riski 0,40 ve eşiğin altında. Oran 0,45 ÷ 0,55 ≈ 0,818; net fayda 0,10 − 0,15 × 0,818 ≈ −0,023, yani kimseyi aramamaktan kötü.

Gözlenen sıklıkları risk olarak veren yeniden kalibre edilmiş sürüm bu iki eşikte 0,163 ve 0 alıyor, hiçbir eşikte varsayılanların altına düşmüyor. Ben Van Calster ile Andrew Vickers, aynı dergide 2015'te çıkan "Calibration of risk prediction models: impact on decision-analytic performance" çalışmasında benzetimle aynı örüntüyü buldular: bozuk kalibrasyon net faydayı her zaman düşürür. Modelin varsayılan seçeneklerden kötüye düştüğü durumlar, risk olay sıklığının altındaki bir eşikte eksik ya da üstündeki bir eşikte fazla kestirildiğinde ortaya çıkabildi. Olay sıklığına yakın eşiklerde etki küçüktür. Poliklinikte de öyle: 0,15'te iki sürüm arasındaki fark yalnız 0,106'ya karşı 0,109.

Faydayı başka birimlerle yazmak

Net fayda doğru pozitif birimindedir. Ekip herkesi aramayı düşünüyorsa aynı kazancı kaçınılan aramalarla yazmak daha kolay okunur. Vickers, Van Calster ve Steyerberg 2019'da Diagnostic and Prognostic Research'teki adım adım rehberlerinde, varsayılan strateji herkese müdahale olduğunda bu yazımı önerdiler. Hesap, iki net fayda farkını orana bölüp yüzle çarpmaktır. Eşik 0,20'de net faydalar 0,08125 ile 0,0375; fark 0,04375 ve 0,04375 ÷ 0,25 × 100 = 17,5. Makalenin denklemi, herkesi aramaya göre yüz hastada 17,5 net aramayı hiçbir başvuruyu fazladan kaçırmamaya denk bir biçimde ortadan kaldırıyor. Doğrudan sayımla da aynı çıkıyor: listeden çıkan 200 hastanın 174'ü olaysız, 26'sı olaylı, 174 − 26 ÷ 0,25 = 70 ve 70 ÷ 400 × 100 = 17,5.

Kerr ve arkadaşları aynı makalede bu ölçüyü yüzde ölçeği sağladığı için önerdiler. Eşik 0,20'de 0,081 ÷ 0,23 ≈ 0,35: model, başvuruların üçte birinden biraz fazlasını hiç boş arama yapmadan yakalayan bir politikaya denk. Aynı ölçekte basit modelin kırk kişilik listesi 0,078 ÷ 0,23 ≈ 0,34.

Makul aralığı seçmek

Eşik aralığı veriye bakılmadan, masada tartılarak seçilir. Makbule Hanım bir boş aramanın bedelini sayıyor: bir hemşirenin birkaç dakikası, hattın meşgul kalması, bazı hastalarda "neden aradınız" kaygısı. Kaçırılan bir başvurunun bedeli ise gece acilde geçen saatler ve kimi zaman yatış. Ona göre bir başvuru için dokuz boş arama üst sınır, yani eşik 0,10. Şeyma öteki ucu soruyor: bir boş aramanın, yakalanan bir başvurunun yarısından ağır sayıldığı bir durum düşünebilir mi? Kimse düşünemiyor. Aralığın üst ucu yaklaşık 0,30'a konuyor.

Bu aralıkta makalenin denklemi iki varsayılan seçeneğin üstünde kalıyor; bozuk kalibrasyonun modeli varsayılanların altına ittiği eşikler aralığın dışında. Yine de aralık bir görüş birliğidir, tek bir doğru sayı değil. Rapor ederken aralığın tamamı ve gerekçesi yazılır; yalnız modelin iyi göründüğü eşiği seçmek, kısmi alan dersinde bölgeyi veriye bakıp seçmekle aynı hatadır.

Santrale dönüş

Hanife Hanım yeniden kulaklığını takmadan önce formun arkasına bakıyor. Şeyma iki cümle yazmış. Ekip bir başvuru için dört boş aramadan fazlasına razıysa, kırk kişilik liste yetmiyor ve makalenin denkleminin risk sınırına göre kurulan daha uzun liste daha çok fayda getiriyor. Razı değilse, kırk kişilik basit liste en iyisi.

Makbule Hanım bir soru daha ekliyor: bütün bu hesap, hemşire aradığında hastanın gerçekten erken kontrole geleceğini ve başvurunun önleneceğini varsayıyor. Bunu kim gösterecek? Hanife Hanım'ın telefonu yeniden çalıyor.

Kendini sına

1. Eşik 0,25 ise değişim oranı kaçtır? Bu oran bir yakalanan başvuru için kaç boş aramaya karşılık gelir?
2. Eşik 0,20'de basit modelin kırk kişilik listesinin ve herkesi aramanın net faydasını elle hesapla.
3. Herkesi aramanın net faydası neden tam olay sıklığında sıfırı keser?
4. Makalenin denklemi eşik 0,08'de neden herkesi aramaktan kötü? Aynı eşikte yeniden kalibre edilmiş sürüm ne verir?
5. Net fayda farkı 0,04375 ve eşik 0,20 ise yüz hastada kaçınılan net arama sayısı kaçtır?
6. Karar eğrisinin tepe yaptığı eşiği seçmek neden yanlıştır?

Bir sonraki derse köprü

Net fayda, listede aranan hastanın başvurusunun önlenebileceğini baştan kabul ediyordu. Klinik yararlılık dersi o kabulü sorgulayacak. Bir model gerçek poliklinik akışına girdiğinde hemşireler listeyi uygular mı, arama başvuruyu gerçekten azaltır mı? Bunu gösterecek etki çalışması nasıl kurulur, ve iyi kalibre edilmiş, net faydası yüksek bir model, klinikte hiçbir sonucu değiştirmeyebilir mi?