Aşırı Uyum

Açılış sahnesi

Mayısın ilk salısı, Nevşehir. Laboratuvar bilgi sisteminden şubat başıyla nisan sonu arasındaki altmış yeni iş günü inmiş, Fitnat Hanım dosyayı Uğurcan'ın ekranına sürüklüyor. Başhekimlik bir süredir ertesi günün planlanan numune sayısından sonuç süresini kestiren bir çizelge istiyor; kadroyu ona göre yazacaklar. Uğurcan bu haftalarda eski altmış günün modeline numunenin küpünü, dördüncü kuvvetini ve sekizinci kuvvetine kadar bütün üslerini eklemiş. Belirleme katsayısı 0,80'den 0,84'e çıkmış, eğri noktaların arasından neredeyse hiç boşluk bırakmadan geçiyor.

Fitnat Hanım bir şey önermiyor, yalnız soruyor: "Bu formül yeni günleri hiç görmedi. Onları formüle koy, bakalım kaç dakika şaşıyor". Uğurcan sekizinci dereceden modeli yeni tabloya uyguluyor. Eski günlerde ortalama kare hata 8,37 çıkmıştı, yeni günlerde 16,35 çıkıyor.

Bu derste ne olacak

Beş ayrı dereceden polinom modelin eski ve yeni günlerdeki hatasını yan yana koyacak, birinin hep düştüğünü, ötekinin bir yerden sonra yükseldiğini sayıyla göreceksin. Eski verideki hatanın yeni verideki hatayı neden olduğundan küçük gösterdiğini ve bu farkın kabaca kaç olması gerektiğini elle hesaplayacaksın. Düzeltilmiş belirleme katsayısını ve AIC'yi kısaca tanıyacak, gözlem başına değişken kuralının nereden geldiğini ve neden tartışıldığını okuyacaksın. Sonunda aynı sorunu klinik risk skorlarında, iyimser görünen öngörü modellerinde bulacaksın.

Sıfır noktası

Kare terim eğimin numuneyle değiştiğini yazmıştı ve artıkları küçültmüştü. Her yeni üs, en küçük kareler çözümüne bir serbestlik daha verir; çözüm o serbestliği kullanmadan bırakmaz, çünkü ek katsayıyı sıfır seçmek her zaman mümkündür ve daha iyisi bulunursa o seçilir. Bu yüzden terim ekledikçe eski verideki hata ya düşer ya da yerinde kalır, hiç yükselmez. Sorulması gereken, bu düşüşün ne kadarının laboratuvarın düzeninden, ne kadarının o altmış günün kendine özgü gürültüsünden geldiğidir.

Mekanizma

İki hata

Modeli kurduğun günlere eğitim verisi, modelin kurulurken görmediği günlere yeni veri denir. Hatayı ikisinde aynı biçimde ölçersin: her günün gerçek süresiyle modelin öngördüğü süre arasındaki farkı kareler, toplar ve gün sayısına bölersin. Sekizinci dereceden modelde eski günlerin kare farkları 502,1 ediyor; 502,1 ÷ 60 ≈ 8,37. Yeni günlerde toplam 981,0; 981,0 ÷ 60 = 16,35. Dakikaya çevirmek için karekök al: eski günlerde tipik şaşma yaklaşık 2,89, yeni günlerde 4,04 dakika.

Uğurcan beş modeli sırayla kuruyor ve tabloyu Fitnat Hanım'a uzatıyor. Katsayı sayısı dereceden bir fazladır, çünkü sabit terim de sayılır.

Eski sütun beklediğin gibi basamak basamak iniyor. Yeni sütun düz çizgide yüksek başlıyor, parabolde ve küpte dibe iniyor, beşinci derecede yeniden kalkıyor ve sekizinci derecede düz çizgiyi bile geride bırakıyor. Düz çizginin hatası iki sütunda da yüksek: model laboratuvarın bükülmesini hiç yakalayamıyor, buna yetersiz uyum (underfitting) denir. Sekizinci derecenin sorunu tersidir.

Gürültünün tabanı

Bu tabloyu okumanın bir kestirmesi var, çünkü günleri üreten kuralı biliyorsun. Gürültünün standart sapması 3 dakika, yani kuralın kendisi bile yeni bir günü 3 × 3 = 9 dakika karelik ortalama hatayla öngörür; bu, hiçbir modelin kalıcı olarak altına inemeyeceği taban. Sekizinci derecenin eski günlerdeki 8,37'si bu tabanın altında. Model veriyi üreten kuraldan daha iyi uyuyorsa artık kuralı değil, o altmış günün gürültüsünü de ezberliyordur.

Ezberin nereye yerleştiğini eğrinin kendisinde görebilirsin. Sekizinci dereceden model 400 numuneli bir gün için 37,1 dakika, 500 numuneli bir gün için 35,2 dakika öngörüyor; daha az numune daha uzun süre. Eski tabloda o bölgede birkaç yavaş gün vardı ve eğri onlara doğru bir tümsek çıkardı. Yeni günlerde en büyük beş şaşmanın hepsi 380 ile 450 numune arasına düşüyor, en büyüğü 10,3 dakika.

İyimserliğin boyu

Eski hatayla yeni hata arasındaki farka iyimserlik denir. Biçimi doğru seçilmiş bir modelde bu farkın beklenen değeri için kaba bir formül var: yaklaşık 2 × σ² × p ÷ n; σ² gürültünün varyansı, p katsayı sayısı, n gözlem sayısı. Parabol için 2 × 9 × 3 ÷ 60 = 0,9, sekizinci derece için 2 × 9 × 9 ÷ 60 = 2,7. Formül, yeni günlerin eski günlerle aynı numune düzeylerinde geldiğini varsayar; yeni numune düzeyleri eğrinin kıvrımlarına denk geldikçe fark bunu aşar.

Tek bir yeni tablo şansa açıktır, bu yüzden aynı kuraldan 2.000 ayrı altmış günlük eğitim tablosu üretildi ve her birinde beş model kurulup çok sayıda yeni günde sınandı. Ortalama iyimserlik parabolde 1,0, beşinci derecede 2,0 çıktı; formülün 0,9 ve 1,8'ine yakın. Sekizinci derecede ise 7,2: tabloların çoğunda model makul davranırken bir kısmında uçlarda patlıyor ve ortalamayı sürüklüyor. Sekizinci derecenin yeni günlerde parabolden kötü çıktığı tablo sayısı 1.626; 1.626 ÷ 2.000 ≈ 0,81.

Ceza ekleyen ölçüler

Belirleme katsayısını korelasyon için tanımlamıştın (L02-P05-M01-D02); çoklu modelde de açıklanan varyansın payıdır ve katsayı eklendikçe o da yalnız yükselir. Düzeltilmiş biçimi her katsayı için bir bedel keser: 1 − (1 − R²) × (n − 1) ÷ (n − p). Sekizinci derece için 1 − 0,1603 × 59 ÷ 51 ≈ 0,815, parabol için 1 − 0,2024 × 59 ÷ 57 ≈ 0,790. Bedel kesildiği hâlde sekizinci derece önde kalıyor. Akaike bilgi ölçütü (AIC) de aynı fikri olabilirlik üzerinden kurar, her katsayıya iki birim ceza ekler ve bu tabloda sekizinci dereceyi üçüncüden yaklaşık bir birim iyi buluyor.

Cezanın hafif kaldığı yer küçük örneklemdir. AIC'nin küçük örneklem düzeltmesi (AICc) katsayı sayısı k iken 2 × k × (k + 1) ÷ (n − k − 1) ekler; sekizinci derecede, gürültünün varyansı da sayılınca k = 10 ve ek ceza 2 × 10 × 11 ÷ 49 ≈ 4,49. Bu düzeltmeyle üçüncü derece öne geçiyor. Ceza ekleyen ölçüler iyimserliği yaklaşık hesaplar, yeni günlerin yerine geçmez.

Gözlem başına kaç katsayı

Altmış gün dokuz katsayıya bölününce katsayı başına 60 ÷ 9 ≈ 6,7 gün düşüyor, parabolde 60 ÷ 3 = 20. Klinik modellerde bu oran için sık alıntılanan bir başparmak kuralı var. Peduzzi ve arkadaşları 1996'da yayımladıkları benzetim çalışmasında (Journal of Clinical Epidemiology), lojistik regresyonda değişken başına olay sayısı onun altına indiğinde katsayıların yanlı ve kararsız hâle geldiğini bildirdi; "on olay/değişken" kuralı buradan yayıldı. Lojistik regresyonu ileride kuracaksın; burada önemli olan olayın, yani sonucu yaşayan hasta sayısının, toplam hasta sayısının yerine geçmesi.

Kural tartışmalı. Vittinghoff ile McCulloch 2007'de American Journal of Epidemiology'de beş ile dokuz arasındaki oranların pek çok durumda kabul edilebilir sonuç verdiğini gösterdi. Riley ve arkadaşları ise 2020'de BMJ'de, öngörü modeli geliştirirken tek bir orana değil, beklenen iyimserliği ve sonucun sıklığını hesaba katan bir örneklem büyüklüğü hesabına dayanmayı önerdi.

Görülmemiş seçimler

Aşırı uyum yalnız katsayı sayısından doğmaz. Uğurcan dereceyi eski günlere bakarak seçtiyse, seçimin kendisi de verinin gürültüsüne uymuştur; tabloda görünmeyen bir serbestlik daha kullanılmıştır. Analiz seçimlerini sonuca bakarak yapmanın p değerini nasıl eşiğin altına ittiğini görmüştün (L02-P04-M03-D08). Burada aynı mekanizma p değerini değil, modelin görünen başarısını şişiriyor. Onlarca aday değişkeni tek tek deneyip anlamlı çıkanları tutmak da buna girer ve iyimserliği katsayı sayısının gösterdiğinden büyük yapar.

Bu nedenle modeli sınayan veri, modeli seçen veriden ayrı olmalı. Fitnat Hanım'ın yaptığı gibi sonraki bir dönemi beklemek bir yoldur. Elindeki veriyi bölmek, parçaları sırayla dışarıda bırakıp modeli kalanlarla kurmak ya da başka bir hastanenin verisinde sınamak başka yollardır; bunları iç doğrulama, çapraz doğrulama ve dış doğrulama derslerinde ayrı ayrı kuracaksın. Aralarındaki ayrımın özü şu soruda: yeni veri aynı yerden ve aynı dönemden mi geliyor, yoksa modelin taşınacağı yeni bir ortamdan mı?

Klinik gerçeklik

Risk skorları ve öngörü modelleri tam bu sorunun ortasında durur. Bir hastanede birkaç yüz hastayla ve onlarca aday değişkenle kurulan bir skor, kendi verisinde parlak görünür. Ayırt etme ile kalibrasyonu birbirinden ayırmayı görmüştün (L01-P05-M02-D07); aşırı uyum ikisini birden bozar. Yeni hastalarda sıralama gücü düşer, öngörüler de fazla uç çıkar: yüksek dediği risk gerçekte daha düşük, düşük dediği gerçekte daha yüksektir. Klinik karar kurallarının bağımsız veride sınanmış olma şartı bu yüzden bir formalite değildir.

Fonksiyonel tıp pratiğinde bu tehlike sık karşına çıkar. Onlarca belirteç içeren panellerden türetilmiş kişisel skorlar, az sayıda katılımcıda geliştirilip aynı katılımcılarda rapor edilebilir. Böyle bir skorla karşılaştığında kaç kişide ve kaç olayla kurulduğunu, kaç aday değişkenin denendiğini ve yeni hastalarda sınanıp sınanmadığını sor. Sınanmamışsa bildirilen başarı, iyimserliği henüz düşülmemiş bir üst sınırdır.

Fitnat Hanım başhekimliğe giden çizelgeyi üçüncü derecenin üstüne kuruyor ama bir satır ekliyor: model şubat–nisan günlerinde sınandı, tipik şaşması yaklaşık 3,2 dakika ve yalnız iki tablonun kapsadığı numune düzeylerinde geçerli. Uğurcan sekizinci dereceden modeli silmiyor, eski ile yeni sütunu yan yana koyduğu tabloyla birlikte ek dosyaya kaldırıyor. Eylülde, yeni analizör kurulduktan sonra, aynı sınamayı yeniden yapacaklar.

Kendini sına

1. Beşinci derecenin eski günlerdeki kare farkları toplamı 569,8. Ortalama kare hatayı ve dakika cinsinden tipik şaşmayı hesapla.
2. Gürültünün standart sapması 4 dakika olsaydı gürültü tabanı ne olurdu? Sekizinci derecenin 8,37'si hâlâ tabanın altında kalır mıydı?
3. 2 × σ² × p ÷ n formülüyle, altmış yerine iki yüz kırk günle kurulan sekizinci dereceden modelin beklenen iyimserliğini hesapla.
4. Düzeltilmiş R² ile AIC bu tabloda neden sekizinci dereceyi seçti? AICc neden farklı karar verdi?
5. 400 olayla kurulan bir lojistik modelde yirmi aday değişken var. On olay/değişken kuralı ne der, bu kurala neden tek başına güvenmezsin?
6. Bir takviye firması, 80 kişide geliştirdiği ve aynı 80 kişide %95 isabet bildirdiği bir panel skoru sunuyor. Hangi üç bilgiyi istersin?

Bir sonraki derse köprü

Bir regresyon çıktısında bir satır katsayıyı, bir satır standart hatayı, bir satır p değerini, bir satır da R²'yi verir. Bu satırlardan hangisi eğimin ne kadar belirsiz olduğunu söyler, hangisi modelin eldeki veriye ne kadar uyduğunu, hangisi yeni günler hakkında hiçbir şey söylemez? Basit bir regresyon çıktısını baştan sona okurken sıra nereden başlamalı?