Taban oranı

Açılış

Mayısın ilk salısı, sağlık merkezinin küçük toplantı odasında üç kişi vardı. Dr. Seda Hanım, Dr. Necati Bey ve devlet hastanesinden gelen Dr. Ebru Hanım, nisanda konuştukları sevk sınırını karara bağlamak için toplanmıştı. Toplantı başlamadan sekreter bir yazı getirdi. İl sağlık müdürlüğü, göz dibi taramasını yalnız diyabetli hastalarla sınırlı tutmak yerine kırk yaşın üstündeki bütün kayıtlı kişilere genişletmeyi planlıyordu. Yazıya satıcının yeni broşürü iliştirilmişti. Broşürde büyük harflerle iki sayı yazıyordu: yüzde doksan beş duyarlılık, yüzde doksan beş özgüllük.

Necati Bey yazıyı okuyup masaya bıraktı. "Bu sefer iyi," dedi. "Yüzde doksan beş. Program birine pozitif diyorsa, o kişi neredeyse kesin hasta."

Ebru Hanım başka bir yerden baktı. "Kırk yaş üstü herkes mi? Benim polikliniğe ayda kaç kişi gelir?"

Seda Hanım yazının bir sayıyı vermediğini fark etti. Duyarlılık vardı, özgüllük vardı; taranacak kişilerin kaçında gerçekten sevk gerektiren bir göz bulgusu bulunduğu yoktu. Kendi diyabetli hastalarında bu payı biliyordu: nisanda derecelendirilen üç yüz doksan dokuz fotoğrafın otuz altısında retinopati vardı. Kırk yaş üstündeki herkeste bu pay çok daha küçük olmalıydı ama ne kadar küçük olduğunu kimse yazmamıştı.

Yazının arka yüzünü çevirdi, en üste "on bin kişi" yazdı ve altına iki dal çizdi. Necati Bey'e döndü: "Pozitif çıkan yüz kişiyi polikliniğe gönderdiğimizi düşün. Sence kaçı hasta?"

Necati Bey hiç düşünmeden cevap verdi: "Doksan beş."

Tek fikir

Bir testin pozitif sonucu ne kadar güvenilir, testin kendisi kadar taranan kişilerde durumun ne kadar yaygın olduğuna da bağlıdır. Durum nadirse, iyi bir testin pozitiflerinin çoğu bile yanlış olabilir.

Nasıl çalışır

Seda Hanım'ın çizdiği ağaç, on bin kişiyi iki kez ikiye böler. Önce gerçekten hasta olanlar ile olmayanlar, sonra her grubun içinde testin pozitif ve negatif dedikleri. Ağacı kurmak için üç sayı gerekir. İkisi broşürde yazıyor. Üçüncüsü yazmıyor.

İl müdürlüğü taban oranını vermediği için Seda Hanım bir varsayım yaptı: kırk yaş üstündeki her yüz kişiden birinde sevk gerektiren bir göz bulgusu olsun. Bu bir ölçüm değil, hesabın başlangıç noktası. On bin kişide yüz hasta, dokuz bin dokuz yüz sağlam kişi demek.

Yüz hastanın doksan beşini program yakalar; duyarlılık budur. Beşi kaçar. Dokuz bin dokuz yüz sağlam kişinin yüzde doksan beşine program "temiz" der, yani dokuz bin dört yüz beşine. Kalan yüzde beş, dört yüz doksan beş kişi, pozitif çıkar. Toplam pozitif beş yüz doksan kişidir; doksan beşi hasta, dört yüz doksan beşi değil. Polikliniğe giden her yüz kişiden yaklaşık on altısı hasta.

Necati Bey'in doksan beşi ile ağacın on altısı arasındaki fark, ağacın iki dalının büyüklüğünden geliyor. Doğru pozitifler küçük dalın, hastaların bir payıdır. Yanlış pozitifler büyük dalın, sağlamların bir payıdır. Yüzde beşlik küçük bir hata, dokuz bin dokuz yüz kişilik bir dalda doksan beş doğru pozitifi beşe bir ezer.

Bu nicelik, Ders 7.3'te kesinlik adıyla tanımladığımız oranla aynıdır: pay doğru pozitifler, payda modelin "var" dedikleri. Makine öğrenmesi ona kesinlik der, klinik tıp pozitif öngörü değeri. Aynı derste Seda Hanım'ın yüzde yirmi sınırını her yüz kişide bir hastanın bulunduğu bir taramaya taşımış, kesinliğin yüzde altı virgül dokuza, yani yaklaşık yediye indiğini görmüştük. Şimdi bunun nedenini adlandırabiliriz: değişen, taban oranıydı. Karşı yüzdeki oran da aynı ağaçtan okunur. Negatif çıkan dokuz bin dört yüz on kişinin dokuz bin dört yüz beşi gerçekten sağlamdır; nadir bir durumda negatif sonuç çok güvenilir, pozitif sonuç ise az güvenilir olur.

Seda Hanım aynı broşürü üç ayrı topluluğa uyguladı. Birincisi il müdürlüğünün planladığı genel tarama, yüz kişide bir varsayımıyla. İkincisi kendi diyabetli hastaları; nisandaki tabloda pay yüzde dokuz çıkmıştı. Üçüncüsü, şikâyetle göz polikliniğine gönderilen hastalar; orada payın daha yüksek olacağını varsayıp yüzde otuz aldı.

Üç satırda da program aynı, duyarlılık ve özgüllük aynı. Değişen tek şey, kapıdan kimin girdiği. Taban oranı yüzde birden otuza çıkınca pozitif sonucun değeri yüzde on altıdan seksen dokuza çıkıyor.

Hesap sözle şöyle söylenebilir: pozitif öngörü değeri, hastaların yakalanan payını, yani taban oranı çarpı duyarlılığı alır ve onu bütün pozitiflere, yani bu çarpıma sağlamların yanlış pozitif payının eklenmesine böler. Bu, olasılık kuramında Bayes teoremi diye bilinen kuralın bir uygulamasıdır. Ama ağaç, kuralı bilmeden de aynı sonuca götürür.

Makalenin açtığı problem şu: kırk yaşındaki kadınlarda taramaya katılanların yüzde birinde meme kanseri var, kanserli bir kadının mamografisi yüzde seksen olasılıkla pozitif çıkıyor, kanseri olmayan bir kadınınki yüzde dokuz virgül altı olasılıkla. Pozitif çıkan bir kadının gerçekten kanser olma olasılığı nedir?

Necati Bey'in "doksan beş" cevabı tam olarak budur. Duyarlılığı, yani "hastalar arasında pozitif çıkma olasılığını", pozitif öngörü değeri, yani "pozitif çıkanlar arasında hasta olma olasılığı" yerine okudu. İki cümle aynı kelimeleri taşıyor, yalnız sırası ters. Bu yanılgı acemilere özgü değil.

Makalenin asıl bulgusu ise umut verici. Salzburg Üniversitesi'nden, Bayes teoremini bilmeyen altmış öğrenciye on beş farklı problem verildi. Aynı bilgi yüzdelerle verildiğinde de, doğal sıklıklarla verildiğinde de çözümler tek tek incelendi.

Seda Hanım'ın on bin kişilik ağacı bu bulgunun gündelik hâlidir. Yüzdeleri kişi sayısına çevirince, yanlış pozitiflerin büyük daldan geldiği gözle görülür.

Sahada

Nerede yanılır

Ağaç kurulurken en zayıf halka, taban oranının kendisidir. Seda Hanım yüzde biri varsaydı; gerçek pay yarım da olabilir, iki de. Broşürdeki duyarlılık ve özgüllük ölçülmüş sayılardır, taban oranı ise çoğu zaman tahmin. Hesabın sonucu bu tahmine çok duyarlıdır: taban oranı yüzde birden yüzde ikiye çıksa pozitif öngörü değeri on altıdan yaklaşık yirmi sekize çıkar. Tarama planı yapılmadan önce hedef toplulukta bu payın ölçülmesi ya da en azından bir aralık olarak yazılması gerekir.

Satıcının broşüründeki pozitif öngörü değeri, satıcının sınama setinin taban oranını taşır. Sınama setleri çoğu zaman dengelenir, çünkü az görülen sınıftan yeterince örnek toplamak istenir. Elif'in firması yüzde yirmi sahte dosyayla sınamıştı. O setten çıkan isabet oranı, yüzde bir virgül elli altılık bir şirkete olduğu gibi taşınamaz.

Taban oranı topluluğun içinde de değişir. Kırk yaşındakiler ile yetmiş yaşındakilerde göz hastalığının payı aynı değildir. Tek bir ortalama taban oranıyla kurulan ağaç, genç grupta pozitif sonucu olduğundan güvenilir, yaşlı grupta olduğundan güvenilmez gösterir. Sonuçlar yaş grubuna göre ayrı raporlanmalıdır.

Duyarlılık ve özgüllük de her topluluğa sabit taşınmayabilir. Satıcının setindeki hastalar ileri evrede, belirgin bulgulu hastalar olabilir; taramada yakalanması gereken erken vakalar daha zordur. Böyle bir durumda broşürdeki yüzde doksan beş de tarama sahasında aşağı iner.

Ters yöndeki yanılgı da var. Pozitif öngörü değeri yüzde on altı diye pozitif sonuç değersiz değildir. Yüzde birlik bir başlangıçtan yüzde on altıya çıkmak, hasta olma olasılığının on altı kat artması demektir. Test kararı tek başına vermez, ama kimin ikinci bir göz hekimi muayenesine gideceğini daraltır.

Uygulama

Bu çalışmada bir belediyenin su sayaçlarında kaçağı işaretleyen kurgusal bir modelle on bin sayaçlık ağaçlar kuracaksın. Modelin duyarlılığı yüzde doksan, özgüllüğü yüzde doksan sekiz. Model üç farklı mahallede çalışacak: yeni yapılmış bir sitede kaçak payı yüzde sıfır virgül beş, orta yaşlı bir mahallede yüzde beş, boruları elli yıllık bir çarşıda yüzde yirmi. Kâğıt, kalem ve hesap makinesi yeter.

1. Her mahalle için on bin sayacı önce kaçaklı ve kaçaksız diye ikiye böl.
2. Kaçaklı dalın yüzde doksanını "işaretlendi", kalanını "kaçtı" diye yaz.
3. Kaçaksız dalın yüzde ikisini "boşuna işaretlendi", kalanını "temiz" diye yaz.
4. Her mahallede işaretlenen bütün sayaçları topla ve gerçek kaçakların bu toplamdaki payını hesapla.
5. Hangi taban oranında işaretlenen sayaçların tam yarısının gerçek kaçak olacağını bul. İpucu: o noktada doğru pozitiflerle yanlış pozitiflerin sayısı eşittir.
6. Bir ekibin bir sayaca gitmesi yarım gün sürüyor. Her mahalle için ekibi doğrudan göndermeyi mi, önce sayacın bir hafta daha izlenmesini mi önerirsin? Gerekçeni pozitif öngörü değeriyle yaz.

Sonuçların şöyle çıkmalı. Sitede elli kaçağın kırk beşi işaretlenir, dokuz bin dokuz yüz elli sağlam sayacın yüz doksan dokuzu da; iki yüz kırk dört işaretin kırk beşi gerçek, yüzde on sekiz virgül dört. Orta mahallede dört yüz elli artı yüz doksan, altı yüz kırk işaretin yüzde yetmiş virgül üçü gerçek. Çarşıda bin sekiz yüz artı yüz altmış, bin dokuz yüz altmış işaretin yüzde doksan bir virgül sekizi gerçek. Yarı yarıya noktası yaklaşık yüzde iki virgül iki. Altıncı adımın tek doğru cevabı yok; sitede bir hafta izleme, çarşıda doğrudan ekip savunulabilir ve iki kuralın sınırını bir sayıyla yazdıysan başkası onu sınayabilir.

Defter: "Kaç kişiden kaçı?" başlıklı bir sayfa aç. Üç ağacı yan yana çiz ve altına, karşılaştığın bir uyarı, test ya da işaret için, o işaretin hangi toplulukta ölçüldüğünü ve senin baktığın toplulukta durumun ne kadar yaygın olduğunu bilip bilmediğini yaz.

Hata köşesi

Sorumluluk

Bir tarama programını genel nüfusa genişletme kararı il müdürlüğünündür, ama o kararın dayanağı olan hesap bir broşürden çıkmamalıdır. Seda Hanım yazıya üç paragraflık bir cevap hazırladı. Birincisinde, hedef toplulukta sevk gerektiren göz bulgusunun payının ölçülmesini ya da en azından bir aralık olarak belirtilmesini istedi. İkincisinde, yüzde birlik varsayımla polikliniğe ayda kaç pozitif kişinin gideceğini ve bunların kaçının hasta olmayacağını yazdı; Ebru Hanım polikliniğin bu yükü kaldırıp kaldıramayacağını ayrıca bildirecekti. Üçüncüsünde, pozitif çıkan kişiye sonucun "kesin hastalık" değil "ikinci muayene gerekiyor" diye söylenmesini önerdi, çünkü yanlış pozitif her kişi bir endişe yaşayacaktı. Satıcının sayılarının taranan toplulukta ilk yıl doğrulanması ve sonuçların yaş grubuna göre raporlanması sorumluluğu programı yürütecek kurumda kalıyor.

Kapanış

1. Taban oranı, bir durumun test yapılmadan önce o topluluktaki sıklığıdır; pozitif öngörü değeri yalnız testten değil, ondan da gelir.
2. Durum nadir olduğunda sağlamların küçük bir yanlış pozitif payı bile hastaların doğru pozitiflerinden kalabalık olur; yüzde doksan beş duyarlı ve özgül bir test, yüz kişide bir hastada pozitiflerinin yalnız on altısında haklıdır.
3. Yüzdeler on bin kişilik bir ağaca çevrildiğinde hesap görünür olur; bir test ya da modelin isabeti hangi toplulukta ölçüldüyse o topluluğun taban oranını taşır ve başka bir topluluğa taşınmadan önce yeniden hesaplanır.

Üç soru

1. Necati Bey "doksan beş" dediğinde hangi oranı hangisinin yerine okudu?
2. Aynı programın pozitif öngörü değeri genel taramada yüzde on altı, şikâyetle gelenlerde yüzde seksen dokuz. Program değişmediyse bu fark nereden geliyor?
3. Elif'in firması "işaretlerimizin yüzde doksan beşi isabetli" diyordu. Elif bu sayıyı neden kendi şirketine taşımadı ve yerine ne hesapladı?

Yanıtlar

1. Duyarlılığı pozitif öngörü değeri yerine okudu. Yüzde doksan beş, hastaların kaçının pozitif çıktığıdır. Onun sorusu ise pozitif çıkanların kaçının hasta olduğuydu ve bunun cevabı, yüz kişide bir hasta varsayımıyla, yaklaşık on altıydı. Bu karışıklığın adı taban oranı yanılgısıdır.
2. Taban oranından. Genel taramada on bin kişinin yalnız yüzü hasta, dokuz bin dokuz yüzü sağlam; sağlamların yüzde beşi bile dört yüz doksan beş yanlış pozitif eder ve doksan beş doğru pozitifi ezer. Şikâyetle gelenlerde hastalar üç bin, sağlamlar yedi bin; yanlış pozitifler üç yüz elliye iner ve pozitiflerin çoğu gerçek hasta olur.
3. Çünkü o sayı, sahte dosya payının yüzde yirmi olduğu bir sınama setinde ölçülmüştü. Elif aynı duyarlılık ve özgüllüğü kendi şirketinin yüzde bir virgül elli altılık payına uyguladı. Yaklaşık iki yüz altmış bir işaretin yüz kırk ikisinin sahte çıkacağını, yani isabetin yüzde elli beşe ineceğini buldu.

Sonraki derse köprü

Bu modülde bir modeli ölçmenin birçok yolunu gördük: doğruluk, dört kutu, kesinlik ve duyarlılık, eşik, kalibrasyon ve şimdi taban oranı. Her biri başka bir soruya cevap veriyor ve yanlış soruya verilen doğru bir sayı, Necati Bey'in doksan beşi gibi, kolayca karar masasına ulaşıyor. Ders 7.7, Bir modelin karnesi, bu ölçüleri bir araya getirip bir modeli değerlendirmeden önce hangi sorunun hangi ölçütle sorulacağını seçmeye yarayan bir kart kuruyor.