Kesinlik ve duyarlılık

Açılış

Nisanın son perşembesi Dr. Seda Hanım'ın masasında iki kâğıt vardı. Birincisi devlet hastanesinin göz polikliniğinden gelmişti. Polikliniğin sorumlusu Dr. Ebru Hanım kısa yazmıştı: geçen yıl sağlık merkezinden göz dibi programıyla sevk edilen hastaların çoğunda tedavi gerektiren bir bulgu çıkmamıştı, randevu listesi uzamıştı ve gerçekten bekleyemeyecek hastalar sıranın arkasında kalıyordu. Son cümlesi şuydu: "Boşuna sevklerle dolduk."

İkinci kâğıt bir tabloydu. Ebru Hanım'ın ekibi, Seda Hanım'ın isteğiyle, eski kamerayla geçen on iki ayda çekilmiş uyarısız üç yüz doksan dokuz fotoğrafın hepsini, sevk edilsin edilmesin, tek tek derecelendirmişti. Otuz altı gözde sevk gerektiren retinopati vardı.

Dr. Necati Bey tabloyu omzunun üstünden okudu. "Altı hasta kaçmış," dedi. "Sınırı aşağı çekelim. Ben hiçbir hastayı kaçırmak istemiyorum."

Seda Hanım tabloda aynı satıra baktı. Program yetmiş bir hastayı göndermişti; otuzunda retinopati vardı, kırk birinde yoktu. Necati Bey otuz altı hastadan altısının kaçtığını görüyordu. Ebru Hanım yetmiş bir sevkten kırk birinin boşa gittiğini görüyordu. Tablo aynıydı, sayılar aynıydı. Paydaları değişikti.

Seda Hanım iki kâğıdı üst üste koydu ve bir soru yazdı: sınırı aşağı çekersem Ebru Hanım'ın kırk biri ne olur?

Tek fikir

Kesinlik işaretlenenlerin ne kadarının gerçek olduğunu, duyarlılık gerçeklerin ne kadarının yakalandığını söyler. Aynı model ikisini birden yükseltemez; hangisinin önce geleceğine, hangi hatanın daha pahalı olduğu karar verir.

Nasıl çalışır

Ders 7.2'deki karışıklık matrisinin dört kutusu buradaki her şeyin malzemesi: doğru pozitif, yanlış pozitif, yanlış negatif, doğru negatif. Seda Hanım'ın tablosunda yüzde yirmi sınırında bu dört sayı otuz, kırk bir, altı ve üç yüz yirmi iki. Üç oranın her biri bu kutulardan birini başka bir toplama böler.

Ebru Hanım'ın baktığı sayı bu. Polikliniğe gelen yetmiş bir hastanın otuzu gerçek: kesinlik yüzde kırk iki virgül üç. Polikliniğin gözünden her on sevkin altısı boşuna geliyor.

Necati Bey'in baktığı sayı da bu. Otuz altı hastanın otuzu bulundu: duyarlılık yüzde seksen üç virgül üç. Altı hasta "sevk gerekmez" kâğıdıyla eve gitti.

İki tanımın payı aynı, doğru pozitifler. Ayrıldıkları yer paydadır. Kesinliğin paydası modelin kararlarıdır, duyarlılığınki dünyanın gerçeği. Bir oran modelin ağzından çıkanı, öteki dünyada olup biteni sayar.

Üçüncü bir oran sağlam gözlere bakar.

Tabloda üç yüz altmış üç sağlam göz var, programın üç yüz yirmi ikisine dokunmamış: özgüllük yüzde seksen sekiz virgül yedi. Bu sayı iyi görünüyor, oysa Ebru Hanım'ın şikâyeti de tam bu yanlış pozitiflerden geliyor. Fark yine paydada. Kırk bir boşuna sevk, üç yüz altmış üç sağlam gözün içinde küçük bir pay; yetmiş bir sevkin içinde ise çoğunluk. Sağlamların sayısı hastalardan çok fazla olduğunda, küçük bir yanlış pozitif oranı bile poliklinik kapısında kalabalık eder.

Seda Hanım tabloyu üç farklı sınır için yeniden çıkardı.

Sınır aşağı indikçe program daha çok gözü gönderiyor. Gönderilenlerin arasına zor vakalar da giriyor, duyarlılık yükseliyor; ama aynı kapıdan sağlam gözler de giriyor, kesinlik düşüyor. Sınır yukarı çıktıkça tersi oluyor. Necati Bey'in istediği yüzde on, Ebru Hanım'ın boşuna sevkini iki katına çıkarıyor. Ebru Hanım'ın rahat edeceği yüzde kırk, kaçan hasta sayısını iki katına çıkarıyor. Modele dokunulmadı, yalnız olasılığın hangi noktasında "gönder" denileceği kaydırıldı. Bu çekişme bir yazılım kusuru değil, iki sınıfın olasılıkları üst üste bindiği sürece her modelde vardır. Ayrımı kusursuz bir model ikisini birlikte bire çıkarabilirdi; o model bu tabloda yok.

Tablonun bir satırı daha öğretici. Doğru karar oranı, yani doğruluk, yüzde onda yetmiş sekiz virgül dokuz, yüzde yirmide seksen sekiz virgül iki, yüzde kırkta doksan dört virgül beş çıkıyor. Yalnız bu satıra bakan biri en iyi sınırın yüzde kırk olduğunu söylerdi; on iki kaçan hastayı görmeden.

Ders 4.2'de andığımız göz dibi çalışması aynı ikiliği iki noktada vermişti. O derste "sevk gerektiren görüntülerin yakalanan payı" ve "sevk gerektirmeyenlerin doğru geçilen payı" diye uzun uzun söylediğimiz iki sayının kısa adları duyarlılık ve özgüllüktür.

Peki özgüllük bu kadar iyi görünürken polikliniği dolduran kesinlik neden bu kadar düşük? Cevap, hastaların ve sağlamların sayısındaki dengesizlikte. Bir biyoinformatik çalışması bunu yirmi örnekle gösteriyor.

Aynı hesap Seda Hanım'ın programına da uygulanabilir. Yüzde yirmi sınırının duyarlılığı ve özgüllüğü, bir ilçedeki herkesin gözüne bakılan bir taramaya taşınsın; orada her yüz kişiden yalnız birinde sevk gerektiren retinopati olsun. Bin kişide on hasta var; program bunların yaklaşık sekizini bulur. Sağlam dokuz yüz doksan kişinin yaklaşık yüz on ikisini de gönderir. Kesinlik yüzde yedi civarına iner. Program değişmedi, duyarlılığı ve özgüllüğü değişmedi; değişen, kime uygulandığı.

Sahada

Nerede yanılır

Duyarlılığı hesaplamak için kaçanları bilmek gerekir. Kaçanlar ise çoğu zaman görünmez. Seda Hanım'ın tablosu, polikliniğin sevk edilmemiş gözleri de derecelendirmesiyle mümkün oldu. Olağan akışta yalnız sevk edilen hastaların raporu döner; o raporlardan kesinlik hesaplanır, duyarlılık hesaplanamaz. Elif'in tablosunda da durum aynı: soruşturmaya gitmeyen bir dosyanın sahte olup olmadığını kimse bilmiyor. Böyle bir veriden "yüksek duyarlılık" diye bir sayı çıkıyorsa, paydaya yalnız bir şekilde fark edilmiş vakalar girmiştir ve gerçek oran daha düşüktür.

Kesinlik de taşınmaz. Yüzde kırk iki virgül üç, bu merkezin diyabetli hastalarında, bu yılın hastalık payında ölçüldü. Program yüz kişide bir hastanın bulunduğu bir taramaya götürülünce aynı ayarla yüzde yedi civarına iner. Bir satıcı kesinliğini başka bir kurumun hastalarıyla bildiriyorsa, o sayı o kurumun hastalık payını da taşır.

Duyarlılık ve özgüllük bu açıdan daha sağlam görünür, ama onların da bir sınırı var. Ders 6.6'da gördüğümüz yeni kamera, aynı gözü daha düşük yüzdeyle okuyordu. Yüzdeler aşağı kaydıysa, yüzde yirmi sınırı yeni kamerada eskisinden daha az gözü gönderir ve tablodaki yüzde seksen üç virgül üç artık geçerli olmaz. Tablo eski kameranındır.

Küçük sayılar ayrıca oynar. Otuz altı hastada bir hasta fazla ya da eksik yakalamak duyarlılığı neredeyse üç puan değiştirir. Yüzde ondaki tek kaçan hasta ile yüzde yirmideki altı kaçan hasta arasındaki fark gerçek bir farktır, ama yüzde doksan yedi virgül ikiyi bir sözleşmeye virgülüyle yazmak, bu kadar küçük bir sayıdan fazlasını istemektir.

Son olarak, iki oranı tek bir sayıda birleştiren ölçüler vardır; makalenin tablosunda F1 skoru bunlardan biri. Böyle bir sayı karşılaştırmayı kolaylaştırır, ama iki hatayı eşit sayarak Seda Hanım'ın vermesi gereken kararı onun yerine vermiş olur.

Uygulama

Seda Hanım'ın tablosu elinde; üç oranı kendin çıkaracak, sonra iki hatanın bedelini yazıp bir sınır seçeceksin. İşin çoğu bölme, hesap makinesinin yanında bir sayfa kâğıt işini görür.

1. Yüzde on sınırında program yüz on sekiz gözü gönderdi; otuz beşinde retinopati vardı. Otuz altı hasta ve üç yüz altmış üç sağlam göz olduğunu bilerek kesinliği, duyarlılığı ve özgüllüğü hesapla.
2. Aynı üç oranı yüzde kırk sınırı için hesapla: otuz dört sevk, yirmi dördü gerçek.
3. Yüzde yirmi sınırının duyarlılığını ve özgüllüğünü, her yüz kişiden birinin hasta olduğu bin kişilik bir taramaya uygula. Kaç hasta bulunur, kaç sağlam kişi gönderilir, kesinlik kaç olur?
4. Kaçan bir retinopatinin bedelini bir cümleyle yaz: kimin, ne zaman, neyi kaybedebileceğini düşün.
5. Boşuna bir sevkin bedelini bir cümleyle yaz. Yalnız sevk edilen hastanın yolunu değil, poliklinik sırasında arkada kalan hastayı da hesaba kat.
6. Üç sınırdan birini seç ve seçimini ölçülebilir bir hedefle yaz: "duyarlılık en az şu olsun, bu şartla kesinlik olabildiğince yüksek olsun" ya da tersi.

İlk adımda kesinliği yüzde yirmi dokuz virgül yedi, duyarlılığı yüzde doksan yedi virgül iki, özgüllüğü yüzde yetmiş yedi virgül bir bulmalısın. İkinci adımda yüzde yetmiş virgül altı, yüzde altmış altı virgül yedi ve yüzde doksan yedi virgül iki. Üçüncü adımda yaklaşık sekiz hasta bulunur, yaklaşık yüz on iki sağlam kişi gönderilir, kesinlik yüzde yedi civarındadır. Dördüncü, beşinci ve altıncı adımın tek doğru cevabı yok; hedefini bir sayıyla yazdıysan başkası onu tabloyla sınayabilir.

Defter: Üç oranın tanımını kendi cümlelerinle, payda neyse onu altı çizili olarak yaz; altına izlediğin ya da kullandığın bir uyarı sisteminin en sık hangi hatayı yaptığını, o hatanın kime dokunduğunu ve o sistemin hangi oranı yüksek tutmaya ayarlandığını düşündüğünü not et.

Hata köşesi

Sorumluluk

Sınırı program seçmez, satıcı da seçmemelidir; seçim kaçan bir hastalık ile boşuna bir sevkin bedelini tartmaktır ve o bedeller hastalara, hekimlere ve polikliniğe aittir. Seda Hanım, Necati Bey ve Ebru Hanım mayısın ilk haftası için bir toplantı koydular. Seda Hanım'ın önerisi yazılıydı: kaçan retinopati görme kaybına gidebildiği için duyarlılık en az yüzde doksan beş olacak; bu şartı sağlayan sınırlar içinde kesinliği en yüksek olanı seçilecek ve iki sınır arasında kalan fotoğraflara gönderilmeden önce hekim bir kez daha bakacak. Sayıların her yıl sevk edilen ve edilmeyen hastaların derecelendirilmesiyle doğrulanması, hangi sınırın hangi gerekçeyle seçildiğinin de karar tutanağına yazılması sorumluluğu merkezde kalıyor. Yeni kameranın tablosu çıkana kadar bu sınır yalnız eski kameranın fotoğraflarına uygulanacak.

Kapanış

1. Kesinlik "işaretlediklerimin kaçı gerçekti?", duyarlılık "gerçeklerin kaçını buldum?", özgüllük "sağlamların kaçını sağlam buldum?" sorusunu cevaplar. Üçünün payı ayrı, paydası ayrıdır.
2. Aynı modelde sınır aşağı inince duyarlılık yükselir, kesinlik düşer; sınır yukarı çıkınca tersi olur. Hastalar az, sağlamlar çoksa yüksek özgüllük bile düşük kesinlikle birlikte gelir ve kesinlik modelin kime uygulandığına göre değişir.
3. Hangi oranın önce geleceğini hangi hatanın daha pahalı olduğu belirler; o bedeli modeli kuran değil, hatanın dokunduğu insanları bilen kişiler tartar ve seçim ölçülebilir bir hedef olarak yazılır.

Üç soru

1. Necati Bey ile Ebru Hanım aynı tabloya bakıp neden zıt sonuçlara vardı? Her birinin baktığı oranın paydası neydi?
2. Yüzde yirmi sınırında özgüllük yüzde seksen sekiz virgül yediyken polikliniğe gelen sevklerin çoğunluğu neden boşunaydı?
3. Elif'in raporunda kesinlik yüzde otuz dört, duyarlılık yüzde yirmi iki virgül yediydi. Duyarlılığın düşüklüğünün bir kısmı neden modelden değil, listenin uzunluğundan geliyor?

Yanıtlar

1. Necati Bey kaçan hastalara bakıyordu; onun oranı duyarlılıktı ve paydası gerçekten retinopatisi olan otuz altı hastaydı. Ebru Hanım boşuna gelen hastalara bakıyordu; onun oranı kesinlikti ve paydası programın gönderdiği yetmiş bir hastaydı. Pay aynıydı, otuz doğru sevk. Paydalar farklı soruları sorduğu için sonuçlar zıt çıktı.
2. Özgüllüğün paydası üç yüz altmış üç sağlam gözdü; kırk biri bunun küçük bir payıdır. Ama sevk edilenler yalnız yetmiş bir kişiydi ve kırk biri onların yarısından fazlasıdır. Sağlamlar hastalardan on kat fazla olduğu için küçük bir yanlış pozitif oranı bile işaretlenenlerin çoğunluğunu oluşturdu.
3. Soruşturma birimine yalnız yüz dosya gidiyordu, sahte dosya ise yüz elliydi. Liste yüzde kesildikçe her dosya sahte olsa bile ancak yüzü yakalanabilir; duyarlılığın tavanı yüzde altmış altı virgül yedidir. Kalan farkı model açıklar, bu tavanı ise birimin kapasitesi çizer.

Sonraki derse köprü

Seda Hanım'ın tablosundaki üç satır, aynı programın olasılığa konmuş üç ayrı kesim noktasıydı; ama program her yüzde için bir satır daha yazabilirdi. Ders 7.4, Eşik seçimi, bütün kesim noktalarını tek bir resimde gösteren ROC eğrisini ve aynı modelin bir taramada ve bir uzman kapısında neden farklı noktalardan kullanıldığını ele alıyor.