Kalibrasyon

Açılış sahnesi

Aralığın ikinci çarşambası, sabah dokuz buçuk. Afyonkarahisar'da, üniversite hastanesinin zemin kattaki tıbbi arşivinde raflar arasına sıkıştırılmış tek masada Makbule Hanım bilgi işlemden gelen dört sayfalık çıktıyı düzlüyor. Başhekimlik telefon araması pilotuna başlamadan önce bir deneme istemiş: makalenin denklemi, polikliniğin geçen yılki hastalarına uygulanmış, her hastanın yanına bir risk yazılmış. Sütunun sonunda bir satır daha var, o hastaların bir yıl içinde gerçekten acile gelip gelmediği.

Şeyma dosya kutularının arasından bir tabure çekip oturuyor. Makbule Hanım ilk sayfadaki bir satırı parmağıyla gösteriyor: "Bu kadına sistem yüzde elli demiş, gelmemiş. Şuna yüzde beş demiş, gelmiş. Hangisi yanlış?" Şeyma'nın cevabı, tek bir hastaya bakarak hiçbirinin yanlış sayılamayacağı. Yüzde elli diyen bir risk, iki hastadan birinin gelmeyeceğini de söylüyor.

Bu derste ne olacak

Ayrım gücü dersinde C istatistiğinin yalnız sıralamaya baktığını, riskleri BKİ ÷ 50 diye uyduran bir modelin de aynı C'yi aldığını görmüştün. Bu derste risklerin kendisini sınayacaksın. Önce tek bir sayıyla, beklenen olay sayısını gözlenenle karşılaştıracaksın. Sonra hastaları risk dilimlerine bölüp her dilimde aynı karşılaştırmayı yapacak, noktaları bir grafiğe dökecek ve eğimini okuyacaksın. Ardından en çok bildirilen kalibrasyon testinin neden az şey söylediğini ve modelin başka bir hastaneye taşındığında neyin kaydığını göreceksin.

Metin

Tek hastada sınanamayan sayı

Kalibrasyonu ROC eğrisi dersinde tanımlamıştın (L01-P05-M02-D07): tahmin edilen olasılıkların gerçek sıklıklarla uyuşması. Tanımdaki "sıklık" kelimesi, sınamanın neden tek hastada yapılamayacağını açıklıyor. Bir hasta ya gelir ya gelmez; yüzde beşlik bir risk de, yüzde ellilik bir risk de her iki sonuçla bağdaşır. Sınanabilen şey, modelin aynı sayıyı söylediği çok sayıda hastada o sayının tutup tutmadığıdır.

En kaba sınama bütün hastaları birden alır. Her hastanın riski, o hasta için beklenen olay sayısıdır; riskler toplanınca topluluk için beklenen olay sayısı çıkar. Şeyma bunu önce defterindeki on hastada yapıyor. BKİ ÷ 50 modeli altı aylık pencerede on hastaya toplam 7,72 risk vermişti, yani 7,72 başvuru bekliyordu. Gelen üç kişiydi. Beklenenin gözlenene oranı 7,72 ÷ 3 ≈ 2,57: model toplamda olayı iki buçuk katından fazla abartıyor.

Bu oranın C istatistiğiyle ilgisi yok. BKİ ÷ 50 modeli sıralamayı BKİ'nin kendisiyle aynı kurduğu için C'si 0,62'de kalmıştı; oranı 2,57 olan bir modelle 1,00 olan bir model aynı C'yi paylaşabilir. Ayrım ile kalibrasyon farklı sorular sorduğu için birinin iyi çıkması ötekini hiç söylemez.

Dört dilim

Bilgi işlemin çıktısında geçen yıl bir yıllık izlemi tamamlanmış 400 hasta var. Bir yılı dolduramadan polikliniği bırakanlar listeye alınmamış; bu seçim, ayrım gücü dersindeki sansür sorusunun bir başka yüzü ve kendi başına bir yanlılık kaynağı olabilir. Makbule Hanım hastaları modelin verdiği riske göre sıralayıp dört eşit dilime bölüyor ve her dilimde iki sayıyı yan yana yazıyor:

Toplamda beklenen başvuru 5 + 12 + 25 + 50 = 92, gözlenen 10 + 16 + 26 + 40 = 92. Beklenenin gözlenene oranı 92 ÷ 92 = 1: genel kalibrasyon kusursuz. Ama dilimlere inince tablo başka bir şey anlatıyor. En düşük dilimde model yüzde beş dedi, gelen 10 ÷ 100 = 0,10 oldu; gerçek sıklık söylenenin iki katı. En yüksek dilimde model yüzde elli dedi, gelen 40 ÷ 100 = 0,40 oldu. Ortadaki üçüncü dilim neredeyse tam tutuyor.

Makbule Hanım'ın sabah gösterdiği iki hasta bu desenin içinde. Model düşük riskli hastaları olduğundan daha güvende, yüksek riskli hastaları olduğundan daha tehlikede görüyor; iki hata toplamda birbirini götürdüğü için ortalama tutuyor. Önceki dersin sonunda sorulan soru buydu: ortalamanın tutması, her risk düzeyinde tutmak anlamına gelmiyor. Bu model hastaları uçlara fazla itiyor.

Her dilimin kendi belirsizliği de var. Yüz hastada kırk başvuru için Wilson aralığı yaklaşık 0,31 ile 0,50 arasında, yani yüzde ellilik öngörü aralığın tam kıyısında. Tek başına bu dilim modeli mahkûm etmeye yetmez; desenin inandırıcılığı, dört dilimin düzenli biçimde aynı yöne eğilmesinden geliyor.

Grafiğe dökmek ve eğimi okumak

Dört dilimi bir grafiğe yerleştir: yatay eksende ortalama öngörülen risk, dikey eksende gözlenen sıklık. Kusursuz kalibre bir modelin noktaları sol alttan sağ üste çizilen köşegenin üstüne düşer. Bu tablonun noktaları köşegenden daha yatık bir çizgi kuruyor; solda köşegenin üstünde, sağda altında kalıyorlar.

Laboratuvardaki kalibrasyon eğrisi (L02-P01-M02-D07) başka bir şeydi: bilinen derişimlerle cihaz sinyalini eşleyen, ölçümün tersini okumaya yarayan bir standart çizgisi. Risk modelindeki kalibrasyon eğrisi ölçüm cihazını değil, modelin söylediği olasılıkları sınar. Ad aynı, soru farklı.

Çizginin yatıklığı bir sayıya bağlanabilir. Olasılıklar sıfır ile bir arasına sıkıştığı için karşılaştırma lojit ölçeğinde yapılır. En düşük ile en yüksek dilim arasında modelin öngördüğü lojit farkı, lojit(0,50) − lojit(0,05) = 0 − (−2,944) = 2,944. Aynı iki dilimde gözlenen sıklıkların lojit farkı, lojit(0,40) − lojit(0,10) = −0,405 − (−2,197) = 1,792. Oranları 1,792 ÷ 2,944 ≈ 0,61. Model iki dilim arasında yaklaşık üç lojit birimlik bir fark öngörüyor; gerçekte açılan fark bunun üçte ikisi kadar, 1,8 birim.

Dört dilimin hepsini kullanan lojistik regresyon, gözlenen başvuruyu modelin lojitine karşı kurar ve aynı soruyu tek katsayıyla cevaplar. Bu tabloda eğim 0,62 çıkıyor, yüzde doksan beşlik güven aralığı yaklaşık 0,38 ile 0,85 arasında; iki dilimden elle bulunan 0,61'e çok yakın.

Eğimin 1'in altında kalması tanıdık bir iz. Aşırı uyum dersinde (L02-P05-M02-D08) modelin kurulduğu verinin rastlantısal dalgalanmalarını da düzen sandığını görmüştün. Makale 23 aday değişkenden adımsal seçimle dokuz değişkene inmiş, 164 olayla çalışmıştı. Böyle kurulan bir model kendi verisinde riskleri gereğinden uca taşır: bir hastanın yüksek riskli görünmesine katkı yapan rastlantı, yeni hastada tekrarlanmaz. Eğimin 0,62 çıkması, yeni hastalarda modelin söylediği farkların yaklaşık beşte ikisinin eridiği anlamına geliyor.

Ben Van Calster ve arkadaşları 2016 yılında, Journal of Clinical Epidemiology dergisindeki "A calibration hierarchy for risk models was defined: from utopia to empirical data" makalesinde bu sınamaları bir merdivene dizdiler. En alttaki basamak ortalama kalibrasyon; onun üstünde eğimin 1'e ve kesmenin sıfıra yakın olması (zayıf kalibrasyon); sonra kalibrasyon eğrisinin her risk düzeyinde köşegene oturması (orta düzey kalibrasyon); en üstte her değişken bileşiminde risklerin tutması. Makbule Hanım'ın tablosu birinci basamağı geçiyor, ikincide takılıyor.

Hosmer–Lemeshow testi ne söylemez

Klinik makalelerde kalibrasyon çoğu zaman bir p değeriyle bildirilir. Bu p değerinin arkasında genellikle David Hosmer ile Stanley Lemeshow'un 1980'de Communications in Statistics dergisinde önerdiği test durur.

Makbule Hanım'ın dört dilimine uygulanınca katkılar en düşük dilimden başlayarak yaklaşık 5,26, 1,52, 0,05 ve 4,00; toplam 10,83, iki serbestlik derecesiyle p ≈ 0,004. Sayı bir sorun olduğunu söylüyor, ama sorunun uçlarda ve ters yönlerde olduğunu, eğimin 0,62 olduğunu grafik anlattı.

Testin iki bilinen zaafı var. Grup sayısı keyfidir ve sonucu değiştirir. Benzer bir 400 hastalık benzetim tablosunda aynı riskler ve aynı sonuçlar beşten on ikiye kadar farklı sayıda gruba bölündü; p değerleri 0,005 ile 0,33 arasında dolaştı, sekiz bölüşün dördünde 0,05'in altında, dördünde üstünde kaldı. Veri değişmedi, değişen yalnız kesme çizgileriydi.

Öteki zaafı güçtür. Eğimi 0,6 olan, yani Makbule Hanım'ınkine benzer bir kusur taşıyan modeller benzetimde her örneklem büyüklüğü için 2.000 kez, on gruplu testle sınandı. Yüz hastalık tablolarda test kusuru 2.000 denemenin 680'inde yakaladı (0,34); dört yüz hastada 1.367 denemede (0,68). Tersine, eğimi 0,9 olan ve olağan risk aralığında öngörüyü dört puandan fazla kaydırmayan bir model, yirmi bin hastalık tablolarda 500 denemenin 480'inde reddedildi. Küçük bir çalışma ciddi bir kusuru kaçırıyor, büyük bir kayıt önemsiz bir sapmayı "anlamlı" buluyor.

Van Calster ve arkadaşları 2019'da BMC Medicine'de yayımlanan "Calibration: the Achilles heel of predictive analytics" başlıklı yazıda aynı sonuca vardılar: test hastaları yapay gruplara böler, kalibrasyon bozukluğunun türü ve büyüklüğü hakkında bilgi vermeyen bir p değeri üretir ve gücü düşüktür; bu yüzden kalibrasyonu değerlendirmek için kullanılmamasını önerdiler. Aynı yazı, düzeltilmiş kalibrasyon eğrisinin güvenilir çizilebilmesi için olay yaşayan ve yaşamayan tarafta ikişer yüz hastanın önerildiğini aktarıyor. Makbule Hanım'ın 400 hastasında yalnız 92 başvuru var; dört dilimli kaba grafik bu yüzden okunabilir, ama ince bir eğriye güvenmek için veri az.

Başka bir hastanede

Makale 1.012 hastada kurulmuştu ve olay sıklığı 164 ÷ 1.012 ≈ 0,16 idi. Model başvuru sıklığı daha düşük bir ilçe hastanesinin kayıtlarına uygulansa, hastaların BKİ'si, yaşı ve öyküleri benzer olsa bile taban risk farklıdır. Model o hastanenin hastalarına makalenin hastanesindeki gibi riskler söyler ve beklenen sayı gözleneni sistematik olarak aşar; sıralama bozulmadığı için C yine iyi görünebilir. Bu kayma genel kalibrasyonda, beklenenin gözlenene oranında ilk görünen şeydir.

Çare çoğu zaman modeli baştan kurmak değil, yeni ortamda kesmeyi ya da kesmeyle birlikte eğimi güncellemektir; buna yeniden kalibrasyon (recalibration) denir. Ne zaman yeterli olduğu ve neyi değiştirmediği, modelin başka bir veride sınanmasının bir parçası olarak ayrıca ele alınacak.

Arşive dönüş

Makbule Hanım dört satırı başhekimliğe gidecek nota geçiriyor. Model polikliniğin hastalarında toplamda doğru sayıda başvuru bekliyor. Ama en düşük dilimdeki yüz hastanın onu geliyor, oysa model onlara yüzde beş diyor; bu yüzden yalnız yüksek riskli listeyi arayan bir pilot, düşük dilimden gelen başvuruların beklenenin iki katı olduğunu görmeyecek. En yüksek dilimde de "iki hastadan biri" beklentisiyle arama yapan hemşire, gerçekte beş hastadan ikisinin başvurduğu bir listeyle çalışacak.

Şeyma notun altına bir satır ekliyor: eğim 0,62, makalenin kendi verisinde bildirilmemiş. Makbule Hanım çıktıyı katlıyor: "O zaman makaleyi yazanlar bunu önceden görebilir miydi?" Şeyma'nın cevabı, görebilirlerdi ama yeni hasta beklemeden yapmaları gereken bir sınama vardı.

Kendini sına

1. On hastalık defterde BKİ ÷ 50 modeli için beklenen ve gözlenen başvuru sayısını hesapla. Oran neyi söylüyor, C'yi neden değiştirmiyor?
2. Dört dilimlik tabloda genel kalibrasyon kusursuzken model neden iyi kalibre sayılmıyor?
3. En düşük ve en yüksek dilimden kalibrasyon eğimini lojit farklarıyla kendin bul. 0,61'lik eğim hangi hastalar için neyi değiştirir?
4. Eğimin 1'in altında çıkması modelin kuruluşu hakkında ne düşündürür? Makalenin hangi özellikleri bu yönde?
5. Hosmer–Lemeshow testi dört dilimde p ≈ 0,004 verdi. Grafiğin anlattığı hangi bilgi bu sayıda yok?
6. Yüz hastalık bir çalışma "Hosmer–Lemeshow p = 0,42" bildiriyorsa bundan ne çıkarılabilir, ne çıkarılamaz?
7. Model olay sıklığı daha düşük bir hastaneye taşındığında önce hangi ölçü bozulur? C neden bunu göstermeyebilir?

Bir sonraki derse köprü

Eğim 0,62 çıktıysa model kurulduğu hastaları olduğundan daha iyi tanıyor görünmüştü. Bunu görmek için başka bir hastanenin bir yıllık verisini beklemek zorunda mıyız? İç doğrulama dersi bu soruyu soracak: makalenin 1.012 hastasından çıkmadan, veriyi yeniden örnekleyerek (bootstrap) modeli defalarca yeniden kurmak C'nin ve kalibrasyon eğiminin iyimserliğini nasıl ölçer, ve bu ölçü katsayıları önceden ne kadar küçültmeyi gerektirir?