Ayrım Gücü

Açılış sahnesi

Aynı pazartesi, akşam altıyı yirmi geçe. Afyonkarahisar'daki üniversite hastanesinin personel servisi, ilk durağa varmadan trafikte bekliyor; camlar buğulu, kalorifer fazla açık. Makbule Hanım sabah çoğalttığı makalenin bir nüshasını dizinin üstünde katlamış, sarı kalemle bulgular bölümünün son cümlesini çizmiş; cümlede tek bir sayı var, C istatistiği için 0,78. Yanındaki koltukta Şeyma nöbetten sonra ikinci kez uyanmaya çalışıyor.

"Bunu başhekimlik de sordu," diyor Makbule Hanım. "Yüzde yetmiş sekiz doğru tahmin ediyor demek mi, hangi hastanın başvuracağını on hastadan sekizinde bilecek miyiz?" Şeyma çantasından sağkalım derslerinde doldurduğu on hastalık defteri çıkarıyor ve cevabı bir sayıyla değil, bir sayma işiyle vermeye karar veriyor.

Bu derste ne olacak

C istatistiğini tanımından, çift sayarak kuracaksın. Önce herkesin aynı süre izlendiği bir pencerede sayacak, sonra sansürlü hastaların bulunduğu süreli sonuçta hangi çiftlerin sayıma giremediğini göreceksin. Ardından C'nin söylemediği üç şeye bakacaksın: risklerin doğru olup olmadığı, hasta topluluğunun ne kadar çeşitli olduğu ve bir değişkenin değerini ne kadar gösterebildiği.

Metin

Çift saymak

ROC eğrisini işlerken eğri altındaki alanın bir çift sayımı olduğunu görmüştün (L01-P05-M02-D07): üç hasta ile dört sağlam kişiden kurulan on iki çiftin dokuzunda belirteç hastayı öne koymuştu. Mann–Whitney U testinde aynı sayım olasılık üstünlüğü adını almış, eşitlikler yarım sayılmıştı. Risk modelinde değişen tek şey sıralanan değerdir: belirtecin yerini modelin her hastaya verdiği risk alır. Sayım aynı kalır, adı C istatistiği olur.

Şeyma'nın defterindeki on hasta şöyle:

Cox regresyonu dersinde BKİ katsayısı pozitif çıkmıştı; hazard oranı BKİ ile tek yönde arttığı için modelin hastaları risk sırasına dizişi BKİ'nin sırasıyla aynıdır. C yalnız bu sıraya baktığından, katsayının büyüklüğünü bilmeden hesaplanabilir.

Makalenin lojistik modelinde bir tuzak görmüştün: bir aylık izlemle kayıttan çıkan hastayla otuz altı ayı tamamlayan hasta aynı sıfırı alıyordu. Şeyma bu yüzden herkesin en az altı ay izlendiği bir pencere seçiyor ve soruyu "ilk altı ayda başvurdu mu" diye kuruyor. Altıncı ayda sansürlenen dördüncü hasta, altı ayı başvurusuz tamamladığı için başvurmayanlar arasına girer. Pencerede üç başvuran (BKİ 44, 36 ve 41) ve yedi başvurmayan var, yani 3 × 7 = 21 çift. BKİ'si 44 olan hasta yedi kişiden altısını geçiyor, yalnız 46'ya yeniliyor. 36 olan yalnız üç tane 32'yi geçiyor; 41 olan 39'u ve üç tane 32'yi geçiyor. Uyumlu çift sayısı 6 + 3 + 4 = 13 ve C = 13 ÷ 21 ≈ 0,62.

Makbule Hanım'ın sorusunun cevabı bu tanımda. C, "on hastadan kaçı doğru tahmin edildi" sorusunu cevaplamaz; ortada bir eşik yok, dolayısıyla doğru ya da yanlış sınıflanmış hasta da yok. Cevapladığı soru, başvuran ile başvurmayan bir hasta yan yana konduğunda modelin hangisini daha riskli bulduğudur.

Sansürlü hastalar çiftlere nasıl giriyor

Altı aylık pencere her hastanın durumunu bildiği için kolaydı; ama sekizinci ayda başvuran altıncı hastayı "başvurmayan" saymak zorunda kaldı ve on ikinci aya kadar süren bilginin yarısını çöpe attı. Süreli sonuçta başvuru zamanını kullanmak için Frank Harrell ve arkadaşları, 1982'de JAMA'da yayımlanan "Evaluating the yield of medical tests" makalesinde çift sayımını sansürlü veriye taşıdılar. Kural şu: bir çiftte önce olay yaşayan hasta, olayını ötekinin izlemi sürerken yaşamışsa çift kullanılabilir. Model o hastaya daha yüksek risk vermişse çift uyumludur.

Bu kural bazı çiftleri dışarıda bırakır. Yedinci ayda sansürlenen beşinci hasta (BKİ 46) ile sekizinci ayda başvuran altıncı hasta (BKİ 42) arasında kimin önce başvuracağını bilmiyoruz: beşinci hasta izlem sürseydi sekizinci aydan önce de gelebilirdi. İki sansürlü hasta arasındaki çiftlerde de sıra bilinmez. On hastadan 45 çift çıkar; altı sansürlü hastanın kendi aralarındaki 15 çift ile altıncı ve yedinci ayda sansürlenen iki hastanın sekizinci ay başvurusuyla kurduğu 2 çift sayılamaz. Geriye 28 kullanılabilir çift kalır.

Sayım hasta hasta yürür. İkinci ayda başvuran hasta (44) kalan dokuz kişiyle çift kurar; sekizinde önde, 46'ya karşı geride. Üçüncü ayda başvuran (36) sonradan gelen sekiz kişiden yalnız üç tane 32'yi geçer. Beşinci ayda başvuran (41) yedi çiftin dördünde öndedir. Sekizinci ayda başvuran (42) kalan dört kişiden üçünü geçer, on ikinci ayda sansürlenen ve BKİ'si yine 42 olan hastayla berabere kalır. Uyumlu çiftler 8 + 3 + 4 + 3 = 18, eşitlik yarım sayıldığı için 18,5 ve Harrell C = 18,5 ÷ 28 ≈ 0,66.

İki hesap aynı hastalardan farklı sayı verdi, çünkü farklı çiftleri sordular. Altı aylık pencerede sekizinci ay başvurusu kayıptı; Harrell C onu kullandı ama sansürlü–sansürlü çiftleri bıraktı. Burada sansürün bilgilendirici olmaması koşulu yeniden devreye giriyor. Makalede izlem son poliklinik vizitinde bitiyordu; polikliniği bırakan hastalar erken sansürlenip kullanılabilir çiftlerden düşüyorsa, C geriye kalan ve takibe devam eden hastalar arasındaki sıralamayı ölçer.

Riskler yanlışken yüksek C

C yalnız sırayı saydığı için, sırayı koruyan her dönüşüm onu değiştirmez. Şeyma bunu defterin kenarında gösteriyor. Uydurma bir model altı aylık başvuru riskini BKİ ÷ 50 diye bildirsin: BKİ'si 44 olan hastaya 44 ÷ 50 = 0,88, 32 olanlara 0,64 der. Pencerede başvuranlar 3 ÷ 10 = 0,30; modelin ortalama riski ise 38,6 ÷ 50 ≈ 0,77, gerçeğin iki buçuk katından fazla. Sıralama BKİ'ninkiyle aynı olduğundan C yine 13 ÷ 21 ≈ 0,62.

Bir model hastalara "yüzde seksen sekiz" derken gerçekte her on hastadan üçü başvuruyorsa, telefon listesi için bu sayılar kullanılamaz. Bu kusurun adı kalibrasyondur. ROC dersinde her riski ikiyle çarpan bir modelde alanın değişmediğini görmüştün. Kalibrasyonu nasıl ölçeceğin bir sonraki dersin konusu olacak; bu dersten alınacak kısım, ayrımın ve kalibrasyonun ayrı sorular olduğu ve C'nin yalnız birincisini cevapladığı.

Olgu karması

C, modelin yanı sıra hastaların ne kadar farklı olduğuna da bağlıdır. Aynı model, riskleri birbirine çok benzeyen bir toplulukta daha az çift ayırabilir; çünkü rastgele seçilen iki hastanın riskleri zaten yakındır ve sıralamanın yanılma payı büyür.

Benzetim bunu sayıyla gösteriyor. Olay sıklığı makaledeki gibi yaklaşık yüzde on altıda tutulup, modelin doğrusal öngörücüsünün hastalar arası yayılımı C'yi 0,78 verecek biçimde ayarlandı. Katsayılara dokunmadan yalnız bu yayılımı yarıya indirmek, yani hastaları birbirine daha benzer yapmak, C'yi yaklaşık 0,66'ya düşürdü. Model değişmedi, doğru riskleri vermeye devam ediyor; değişen, ayırt edilecek farkın kendisi.

Makalenin 0,78'i bu açıdan da okunmalı. Obezite polikliniğine yalnız BKİ'si yüksek hastalar gelir; BKİ standart sapması 6,2 olan bu topluluk, aile hekimliğine başvuran bütün yetişkinlerden daha dar bir BKİ aralığı taşır. Aynı model genel bir toplulukta daha yüksek, yalnız BKİ'si 40'ı aşanlardan oluşan bir listede daha düşük C alabilir. Başka bir hastanede ölçülen daha düşük bir C, modelin bozulduğunu değil, hastaların birbirine daha benzer olduğunu da gösterebilir.

Yeni bir değişken C'yi neden az kıpırdatır

Harrell ve arkadaşlarının 1982 makalesindeki asıl soru buydu: temel klinik bilgiye eklenen bir test, öngörüye ne katıyor? Eforlu testin bu bilgiye şaşırtıcı derecede az şey eklediğini buldular. Nancy Cook 2007'de Circulation'da yayımlanan "Use and misuse of the receiver operating characteristic curve in risk prediction" makalesinde aynı gözlemi genelleştirdi: iyi kurulmuş bir modele eklenen ve sonuçla güçlü ilişkili bir belirteç bile C'yi çoğu zaman az değiştirir, bu yüzden C yeni bir belirtecin değerini ölçmek için kaba bir araçtır.

Benzetimde C'si 0,77 olan modele, standart sapma başına odds oranı 1,5 olan ve öteki değişkenlerden bağımsız yeni bir değişken eklendi; bu, makalenin BKİ satırındaki 1,48'e yakın bir güç. C 0,77'den 0,79'a çıktı. Odds oranı 2 olan bir değişken C'yi 0,81'e taşıdı. Bunun nedeni sıralamanın doygunluğu: çiftlerin çoğu zaten doğru sıralanmış, yeni değişken ancak riskleri birbirine yakın hastaların sırasını değiştirebilir. Küçük bir C artışı değişkenin değersiz olduğunu göstermez; değerin başka ölçülerle, örneğin risk kategorisi değiştiren hastaların sayısıyla ya da karar eşiğinde sağlanan yararla sorulması gerekir.

Makaleye dönüş

Servis ikinci durakta dururken Şeyma sarı çizgili satırın altına dört not düşüyor. Makale C'nin üç modelden hangisine ait olduğunu yazmamış; lojistik modelinse izlemi kısa hastalar başvurmayan sayılmış, Cox modelinse son vizitte sansürlenen hastalar çiftlerden sessizce düşmüş. Üstelik sayı, modelin geliştirildiği 1.012 hastanın kendisinde ölçülmüş. Sayının kendisi başvuranla başvurmayanın yaklaşık dörtte üçünde doğru sıralandığını söylüyor, hangi hastanın başvuracağını değil.

Makbule Hanım notları okuyup başını kaldırıyor: "Yani sıralama fena değil, ama söylediği yüzdelere güvenebilir miyim, onu bilmiyoruz". Şeyma'nın cevabı kısa: bu makalede bilmiyoruz, çünkü ikinci soruyu soran satır yok.

Kendini sına

1. Altı aylık pencerede uyumlu çiftleri kendin say. Dördüncü hasta neden başvurmayanlar arasına giriyor?
2. Beşinci ve altıncı hastanın çifti neden kullanılamıyor? Birinci ve beşinci hastanın çifti neden kullanılabiliyor?
3. Harrell C'yi 28 kullanılabilir çiftten hesapla. Eşitlik hangi çiftte ve nasıl sayılıyor?
4. Riskleri BKİ ÷ 50 diye veren model neden aynı C'yi alıyor? Bu modelin kusuru nedir?
5. Aynı model, hastaları birbirine daha benzer bir hastanede neden daha düşük C alır?
6. Güçlü bir değişken C'yi yalnız 0,02 artırdıysa, değişkenin değersiz olduğu sonucuna varılabilir mi?
7. "C 0,78, hastaların yüzde yetmiş sekizi doğru tahmin edildi" cümlesini düzelt.

Bir sonraki derse köprü

BKİ ÷ 50 modeli sırayı doğru kurdu ama her hastaya gerçeğin iki buçuk katı bir risk söyledi. Kalibrasyon dersi tam bu açığı ölçecek: modelin "yüzde otuz" dediği hastalar gerçekten yüzde otuz sıklıkta mı başvuruyor, bunu tek bir hasta üzerinden değil, risk gruplarında nasıl sınarız? Ortalama riskin tutması ile her risk düzeyinde tutması aynı şey mi, ve kalibrasyon eğrisi bu ikisini nasıl ayırır?