Dış Doğrulama

Açılış sahnesi

Ocağın ikinci salısı, öğleden sonra üç buçuk. Afyonkarahisar'a bağlı bir ilçenin devlet hastanesinde iç hastalıkları polikliniği kapanmış, koridordaki bekleme sandalyeleri boş. Poliklinik hemşiresi Naime Hanım bankonun arkasında sıra numaratörünü kapatıyor. Makbule Hanım ile Şeyma il merkezinden karlı yolu bir saatte gelmiş, montlarını çıkarmadan bankoya dayanmışlar.

Başhekimliğin telefon araması pilotu il sağlık müdürlüğünün dikkatini çekmiş; müdürlük aynı risk listesinin ilçe hastanelerinde de kullanılıp kullanılamayacağını soruyor. Naime Hanım geçen yıl kilo ve kan basıncı izlemine alınıp bir yıllık izlemi tamamlanan 300 hastanın dökümünü yazıcıdan alıyor. "Bizimkiler sizin polikliniğe gelenler kadar kilolu değil," diyor, "çoğu şeker ya da tansiyon için geliyor, kiloyu biz ekliyoruz". Makbule Hanım sayfaları çevirirken sadece bir şey soruyor: bu denklem burada da aynı sayıları söyler mi?

Bu derste ne olacak

Bir modelin, kurulduğu veriden bağımsız hastalarda sınanmasına ad verecek ve bu sınamanın üç türünü ayıracaksın. İlçenin tablosunda beklenen ile gözlenen başvuruyu karşılaştırıp taban riskin genel kalibrasyonu nasıl bozduğunu hesaplayacaksın. Hastaların farklılığından gelen kayma ile modelin kendi kusurunu ayırmayı, sonra bozulan kalibrasyonu onarmanın üç basamağını göreceksin. Son olarak bir dış doğrulamanın kaç olayla anlamlı olacağını hesaplayacaksın.

Metin

Kendi verisinden çıkmak

İç doğrulama dersindeki iki yüz bootstrap turu, makalenin kendi hasta tablosunun içinde dönmüştü. Yöntem yeni gelecek hastaları o tablonun kopyası saydığı için, iki hastane arasındaki farkı hiçbir turda görmemişti. Bu farkı görmenin tek yolu, modeli kuranların hiç dokunmadığı hastalara gitmektir.

Amy Justice, Kenneth Covinsky ve Jesse Berlin 1999'da Annals of Internal Medicine'de yayımlanan "Assessing the generalizability of prognostic information" makalesinde bir öngörü sisteminin genellenebilirliğinin çoğu zaman tek bir tarihsel dönemle, tek bir coğrafi yerle, tek bir veri toplama yöntemiyle, tek bir hastalık yelpazesiyle ya da tek bir izlem süresiyle sınırlı kaldığını gözlediler. Bu beş sınır, dış doğrulamanın türlerini ayırmak için iyi bir iskelettir.

Zamansal doğrulamada model aynı kurumun sonraki bir döneminin hastalarına uygulanır. Hastane, sevk yolu ve kayıt alışkanlığı büyük ölçüde aynı kalır; değişen, zamanın getirdiği şeylerdir: yeni bir tedavi, acil servisin kabul kuralında bir değişiklik, bir salgın yılı. Makalenin yazarları bunu kendi hastanelerinin bir sonraki yılında yapabilirdi.

Merkez ya da coğrafi doğrulamada model başka bir hastanenin hastalarına götürülür; burada sevk yolu, hastaların çeşitliliği ve olay sıklığı birlikte değişebilir. Alan doğrulaması daha da uzağa gider: obezite polikliniği için kurulan bir modeli iç hastalıkları polikliniğine ya da aile hekimliğine taşımak, hastaların hangi yakınmayla ve hangi süzgeçten geçip geldiğini değiştirir. Naime Hanım'ın tablosu merkez ile alanın karışımıdır: başka bir hastane, başka bir poliklinik türü.

İlçenin üç dilimi

Şeyma dökümdeki 300 hastayı denklemin söylediği risk küçükten büyüğe olacak biçimde dizip yüzer kişilik üç dilime ayırıyor. Dilimlerin ortalama öngörülen riskleri 0,06, 0,15 ve 0,33; beklenen başvuru sayıları 6, 15 ve 33, toplamda 54. Gözlenen başvurular 4, 9 ve 20, toplamda 33. Beklenenin gözlenene oranı 54 ÷ 33 ≈ 1,64. Model ilçede başvuruları yüzde altmış kadar fazla bekliyor.

Dilimlere bakınca kaymanın düzenli olduğu görülüyor. Gözlenen sıklıklar 0,04, 0,09 ve 0,20; her dilimde öngörünün kabaca üçte ikisi. Sıralama da korunuyor, risk arttıkça başvuru artıyor. Kalibrasyon eğimi 0,88 çıkıyor, yüzde doksan beşlik aralığı 0,38 ile 1,39 arasında. Bu desen, kalibrasyon dersinde beklenen olay sayısının gözleneni sistematik olarak aşacağı söylenen durumdur: ilçenin taban riski düşük. Model makalenin hastanesindeki başvuru alışkanlığını, yüzde on altılık olay sıklığını, ilçenin hastalarına da uyguluyor; ilçede sıklık 33 ÷ 300 = 0,11.

Ortalamadaki bu farkın lojit ölçeğinde bir karşılığı var. Gözlenen sıklığın odds'u 0,11 ÷ 0,89 ≈ 0,124, modelin ortalama öngörüsünün odds'u 0,18 ÷ 0,82 ≈ 0,220. Oranları 0,124 ÷ 0,220 ≈ 0,563 ve doğal logaritması yaklaşık −0,57. Modelin doğrusal öngörücüsü ilçede her hasta için kabaca yarım lojit birimi fazla yukarıda duruyor.

Olgu karması C'yi de oynatır

Naime Hanım'ın bankoda söylediği cümle bir olgu karması tespitiydi. Ayrım gücü dersinde, aynı model ve aynı katsayılarla, hastaları birbirine daha benzer olan bir toplulukta C'nin düştüğünü, daha çeşitli bir toplulukta yükseldiğini görmüştün. Makalenin hastalarında BKİ ortalaması 37,4, standart sapması 6,2 idi. İlçenin dökümünde ortalama 33,1, standart sapma 7,9. İlçede aşırı kilolu hastaların yanında yalnız hafif kilolu olanlar da var; yelpaze daha geniş.

Bu yüzden ilçede ölçülecek C'nin makalenin 0,78'inden yüksek çıkması şaşırtıcı olmaz ve bu yükseklik modelin burada daha iyi çalıştığını göstermez. Kalibrasyonun yüzde altmış şaştığı bir tabloda C'nin iyi görünmesi, ayrım ile kalibrasyonun birbirinden bağımsız sorular olduğunun bir başka örneğidir.

Model mi, nüfus mu

Dış doğrulamada performans düştüğünde iki açıklama yarışır. Model aşırı uyumlu kurulmuş olabilir; o zaman makalenin kendi hastanesinin yeni hastalarında bile düşer. Ya da model sağlamdır ama hastalar farklıdır; o zaman düşüş modelin değil, taşınmanın bedelidir. Justice ve arkadaşları bu iki durumu ayırmak için iki kelime kullandı. Modelin, geliştirmeye girmemiş ama aynı nüfustan gelen hastalarda doğru öngörü vermesine "reproducibility", farklı ama makul biçimde ilişkili bir nüfusta doğru öngörü vermesine "transportability" dediler.

Birinci kelimeye dikkat etmek gerekiyor. Tekrarlanabilirlik dersinde (L01-P01-M01-D05) yeniden üretilebilirlik aynı veriyle aynı analizin aynı sonucu vermesiydi. Öngörü modeli yazınında aynı İngilizce kelime, aynı nüfustan yeni hastalarda tutmayı anlatıyor; bu iki kullanımı karıştırmamak için ikincisine yakın nüfusta tutma demek daha güvenli.

Klinik epidemiyoloji yazınında on altı yıl sonra, Thomas Debray ve arkadaşlarının Journal of Clinical Epidemiology için yazdığı 2015 tarihli "A new framework to enhance the interpretation of external validation studies of clinical prediction models" makalesi bu ayrımı sayıya bağlamayı önerdi. Önce geliştirme ve doğrulama örneklemlerinin olgu karması karşılaştırılır; örneklemler benzerse doğrulama yakın nüfusta tutmayı, belirgin biçimde farklıysa taşınabilirliği sınamış sayılır. Performans ancak bu okumadan sonra yorumlanır.

Elimizdeki üç sayı bu okumaya uyuyor. Şeyma'nın, makalenin yöntemini aynı büyüklükte bir benzetim tablosuna uygulayan iç doğrulaması 0,88 vermişti; bu, aşırı uyumun tek başına ne kadar kayıp getirdiğinin kestirimiydi. İlçede eğimin nokta tahmini de 0,88; oradaki sorun ağırlıkla taban risk. Polikliniğin 400 hastasında ise eğim 0,62'ye inmişti. Aşırı uyumun açıkladığından fazla olan bu kayıp, iki kurum arasında başka bir farka işaret ediyor: polikliniğin listesine yalnız bir yıllık izlemi tamamlayanlar girmişti, makalenin hastaları ise bir aydan üç yıla kadar değişen sürelerle izlenmişti. Justice'in beş sınırından biri, izlem süresi, burada devrede olabilir.

Onarmanın üç basamağı

Kalibrasyon bozulduğunda ilk düşünce yeni bir model kurmak olur; çoğu zaman en kötü seçenek budur. K. J. M. Janssen ve arkadaşları, aynı dergide 2008'de yayımlanan "Updating methods improved the performance of a clinical prediction model in new patients" çalışmasında beş güncelleme yöntemini aynı ameliyat sonrası ağrı modelinde karşılaştırdı. Basit yeniden kalibrasyon yöntemleri kalibrasyonu, modeli daha kapsamlı değiştiren yöntemler kadar düzeltti; ayrım gücünü ise hiçbir yöntem iyileştiremedi.

İlk basamak yalnız kesmeyi güncellemektir. İlçede hesaplanan yarım lojit birimlik fark kaba bir kestirimdi; lojistik regresyonla tam uydurulan kayma −0,618. Her hastanın doğrusal öngörücüsünden bu kadar çıkarılınca dilimlerin öngörülen riskleri 0,033, 0,087 ve 0,210'a iniyor; gözlenen 0,04, 0,09 ve 0,20'ye çok yakın, beklenen toplam da 33. Katsayıların hiçbirine dokunulmadı, ilçenin yalnız ortalama bilgisi kullanıldı.

İkinci basamak kesmeyle birlikte eğimi güncellemektir. Polikliniğin tablosunda yalnız kesmeyi kaydırmak işe yaramazdı, çünkü orada beklenen ile gözlenen toplamda zaten eşitti. Sorun uçlardaydı. Kesme ve eğim birlikte uydurulunca eğim 0,62, kesme −0,40 çıkıyor. Modelin yüzde elli dediği bir hasta için lojit 0'dır; güncellenmiş lojit −0,40 + 0,62 × 0 = −0,40, risk yaklaşık 0,40. Yüzde beş dediği hasta için güncellenmiş risk yaklaşık 0,10. İki değer, arşivdeki dilimlerin gözlenen sıklıklarıyla neredeyse aynı.

Üçüncü basamak katsayıları yeni veride baştan kestirmektir. Bu artık yeni bir modeldir ve kendi iç doğrulamasına ihtiyaç duyar. İlçenin 33 olayıyla dokuz değişkenli bir modeli yeniden kurmak, aşırı uyum dersinde gördüğün tuzağa, 1.012 hastalı makaleden de derin biçimde düşmek olur.

Kaç olay yeter

İlçenin tablosunda eğimin güven aralığı 0,38 ile 1,39 arasında. Bu aralık hem kusursuz bir modeli hem polikliniğin yaşadığından kötü bir kaybı içeriyor; 33 olayla eğim hakkında karar vermek mümkün değil. Gary Collins, Emmanuel Ogundimu ve Douglas Altman'ın 2016 tarihli Statistics in Medicine makalesi büyük bir gerçek veri setinden yeniden örnekleme yaparak altı yayımlanmış modelin dış doğrulamasını farklı büyüklüklerde tekrarladı. Yazarların vardığı öneriye göre bir dış doğrulama en az 100, tercihen 200 ya da daha fazla olay gerektiriyor.

Bu öneri ilçe için bir hesap veriyor. Olay sıklığı 0,11 ise 100 olay için gereken hasta sayısı 100 ÷ 0,11 ≈ 909, 200 olay için 200 ÷ 0,11 ≈ 1.818. Naime Hanım'ın bir yıllık dökümü bunun üçte biri. Polikliniğin 92 olayı ise alt sınırın hemen altındaydı; kalibrasyon dersinde eğimin güven aralığının neredeyse yarım birim genişlikte çıkması bundandı.

Bankoya dönüş

Naime Hanım numaratörün fişini çekip dökümü zımbalıyor. Makbule Hanım müdürlüğe gidecek cevabın taslağını yüksek sesle kuruyor: model ilçede hastaları doğru sırayla diziyor ama başvuruları gerçekleşenden yüzde altmış kadar fazla bekliyor. Kesme güncellenirse risk sayıları tutar; eğim hakkında bir şey söylemek için bu hastaneden bir yıllık veri yetmez, iki üç ilçenin kaydı birleştirilmeli.

Şeyma taslağa bir kayıt düşüyor. Güncellenmiş kesme ilçenin geçen yılına göre ayarlandı ve bu yılın hastalarında yeniden sınanması gerekecek; o sınama da bir zamansal doğrulama olacak. Naime Hanım ışıkları kapatırken gülüyor: "Yani denklem burada da çalışır, yeter ki önce bizim hastalarımızı saysın".

Kendini sına

1. İlçede beklenen 54, gözlenen 33 başvuru var. Beklenenin gözlenene oranını hesapla ve modelin hangi yönde şaştığını söyle.
2. Zamansal doğrulama, merkez doğrulaması ve alan doğrulaması hangi farkları sınar? Hangisi olgu karmasını en az değiştirir?
3. Gözlenen sıklık 0,11, ortalama öngörü 0,18. Kesme güncellemesi için lojit kaymasını odds oranının logaritmasıyla kestir.
4. İlçede C'nin makaledekinden yüksek çıkması modelin ilçede daha iyi olduğunu gösterir mi? Olgu karması neyi değiştirir?
5. Polikliniğin tablosunda yalnız kesmeyi güncellemek neden yetmez? Kesme −0,40, eğim 0,62 ise yüzde elli diyen hastanın güncellenmiş riski nedir?
6. Bir modelin iç doğrulaması 0,88'lik bir eğim kestirmişken başka bir hastanede eğim 0,62 çıkarsa bu farkı hangi iki açıklama paylaşır? Hangi bilgi ikisini ayırır?
7. Olay sıklığı 0,11 olan bir hastanede en az 100 olay için kaç hasta gerekir? İlçe tablosunun eğim aralığı neden bu kadar geniş?

Bir sonraki derse köprü

İlçenin 300 hastası ne yeni bir model kurmaya ne de onu kendi içinde güvenle sınamaya yetiyordu; iç doğrulama dersinde de veriyi bir kez ikiye bölmenin olayları israf ettiğini görmüştün. Çapraz doğrulama dersi bu israfın çaresini soracak: veriyi k parçaya bölüp her katı sırayla dışarıda bırakmak, her hastayı hem kurmada hem sınamada nasıl kullanır? Kat sayısını seçmek kestirimin yanlılığını ve oynaklığını nasıl değiştirir, ve değişken seçimi aynı katların içinde yapılmazsa iç içe bir düzen neden gerekir?