Eşik seçimi

Açılış

Nisanın son perşembesi Hakan Bey, Onur'un masasına el yazısıyla doldurulmuş bir kâğıt bıraktı. Vatandaş masasının amiri yazmıştı: masada iki memur var, ikisi birlikte günde en fazla kırk aktarılmış başvuruyu bitirebiliyor. Geçen hafta asistan günde ortalama altmış iki başvuruyu memura aktarmıştı. Kalanlar ertesi sabaha, cuma gelenler pazartesiye kalmıştı.

Onur'un sınıflandırıcısı her başvuruya bir sayı veriyordu: bu başvurunun bir memura gitmesi gerektiğinin olasılığı. Mart sonundan beri sınır yüzde elliydi; üstü memura, altı asistanda. Yüzde ellinin nereden geldiğini kimse sormamıştı. Yazılımın hazır ayarıydı.

"Yetmişe çek," dedi Hakan Bey. "Masa nefes alsın."

Onur geçen haftanın başvurularını yeni sınırla yeniden saydı; sistemde hiçbir şey değiştirmedi, yalnız sayım yaptı. Yüzde yetmişte günde otuz sekiz aktarma kalıyordu. Masa için iyi bir sayıydı. Ama listenin ortasında üç satır gözüne takıldı. Birinde "apartman girişinde yerden su kaynıyor, bodrum doluyor" yazıyordu; sınıflandırıcı yüzde altmış iki vermişti. Başvuruda "acil" ya da "su kesintisi" kelimesi geçmediği için nöbetçi memura giden kural katmanı onu yakalamamıştı. Gerçekte bir memur başvuruyu yarım saatte okumuş ve ekibi yola çıkarmıştı. Yüzde yetmişlik sınırla başvuru sabaha kadar asistanda bekleyecekti.

Öğleden sonra Su ve Kanalizasyon'un nöbetçi amiri Cevdet Bey'i aradı. Cevdet Bey listeyi dinledi, sonra tersini istedi: su başvurularında sınır yüzde otuza insin, kendi nöbetçisi fazladan birkaç başvuruya bakmaya razıydı.

Akşam masada iki kâğıt duruyordu. Biri sınırı yukarı, öteki aşağı çekiyordu. Model ise aynıydı, olasılıklar da aynıydı. Onur'un aklında tek bir soru kaldı: bu sınırı seçmek gerçekten onun işi miydi?

Tek fikir

Bir model olasılık verir; karar, o olasılığa konan bir eşikle doğar. Eşiği model değil, hatanın bedelini ve kapasiteyi bilen kişi seçer. Aynı model, farklı kullanımlarda farklı eşikle çalışabilir.

Nasıl çalışır

Ders 5.2'de lojistik regresyonun bir olasılık ürettiğini ve olasılığı karara çeviren sınırın modelin içinde olmadığını gördük; sınırın nasıl seçileceğini bu modüle bırakmıştık. Şimdi o sınırın adını koyalım.

Bunu küçük bir örnekle görelim. Onur, sınıflandırıcıyı seçerken kullandığı doğrulama başvurularından on ikisini aldı. Her birinin modelden aldığı olasılık ve gerçekte bir memur gerektirip gerektirmediği bilinir. Büyükten küçüğe sıralayınca şöyle görünür: yüzde doksan beş, memur gerekli; seksen sekiz, gerekli; seksen bir, gerekmez; yetmiş dört, gerekli; altmış altı, gerekmez; elli sekiz, gerekli; kırk yedi, gerekmez; otuz dokuz, gerekmez; otuz bir, gerekli; yirmi iki, on beş ve yedi, üçü de gerekmez. On iki başvurunun beşi gerçekten memur istiyor, yedisi istemiyor.

Ders 7.2'nin dört kutusunu üç farklı eşikte dolduralım.

Eşik indikçe kutular tek yönde kayar. Memur isteyen başvurulardan daha çoğu yakalanır, ama memur istemeyenlerden de daha çoğu masaya gider. Yetmişte beş gerçek başvurudan üçü yakalanıyor, yedi gereksizden biri aktarılıyor. Otuzda beşin hepsi yakalanıyor, yedinin dördü boşuna gidiyor. Hiçbir eşik iki yanlışı birden sıfırlamıyor; eşik yalnız birini ötekine çeviriyor.

Bu kaymayı tek bir resimde görmek için her eşikten iki oran çıkarılır. Birincisi, gerçekten pozitif olanların ne kadarının yakalandığıdır: doğru pozitif oranı, 7.3'teki duyarlılığın ta kendisi. İkincisi, gerçekten negatif olanların ne kadarının yanlışlıkla pozitif sayıldığıdır: yanlış pozitif oranı. Yetmişlik eşikte bu iki oran yüzde altmış ile yüzde on dört virgül üç, ellide yüzde seksen ile yüzde yirmi sekiz virgül altı, otuzda yüzde yüz ile yüzde elli yedi virgül bir.

Eğri sol alt köşede başlar: eşik her puanın üstündeyse hiçbir başvuru aktarılmaz, iki oran da sıfırdır. Sağ üst köşede biter: eşik en düşük puanın altındaysa hepsi aktarılır, iki oran da birdir. Arada eşik indikçe eğri ya yukarı çıkar, sıradaki başvuru gerçekten memur istiyorsa, ya sağa gider, istemiyorsa. Köşegen, yazı tura atan bir modelin çizgisidir. Eğri sol üst köşeye ne kadar yaklaşırsa model gerçek başvuruları o kadar önde sıralıyor demektir.

Eğri bir resimdir; iki modeli karşılaştırmak için çoğu zaman tek bir sayı istenir. Ders 5.7'de Dr. Seda Hanım'ın il müdürlüğünde gördüğü sıfır virgül yetmiş dokuz ile Ders 6.6'daki röntgen çalışmasının sıfır virgül sekiz yüz ikisi bu sayıydı. O derslerde ona yalnız "ayırt etme puanı" dedik ve yazı tura atan bir modelin yarımda, hiç yanılmayan bir modelin birde durduğunu söyledik. Şimdi adını koyabiliriz.

Bu ikinci anlam, alanı elle hesaplamayı mümkün kılar. On iki başvuruda beş gerçek, yedi gereksiz başvuru var; demek ki beş çarpı yedi, otuz beş çift kurulabilir. Her çiftte gerçek başvurunun puanı gereksizinkinden büyükse çift doğru sıralanmıştır. Yüzde doksan beşlik başvuru yedi gereksiz başvurunun hepsinden yüksek: yedi doğru çift. Seksen sekiz de yedi. Yetmiş dört, seksen birin altında kalıyor, öteki altısının üstünde: altı. Elli sekiz beşinin üstünde: beş. Otuz bir yalnız en alttaki üçün üstünde: üç. Toplam yirmi sekiz doğru çift, otuz beşte yirmi sekiz, yani sıfır virgül seksen. Eğrinin altındaki merdiven alanını kareler sayarak bulmak da aynı sonucu verir.

Alan çok şey söyler ama bir şeyi söylemez: hangi eşikte çalışılacağını. Eşiği seçmek için eğrinin dışından iki bilgi gelir. Biri iki yanlışın bedeli, öteki kapasite.

Aynı on iki satırı iki müdürlüğün gözüyle tartalım. Su başvurusunda kaçan bir başvuru, bodrumu dolan bir apartman demek; diyelim ki boşuna bir aktarmanın on katı ağır. Yetmişlik eşikte iki kaçan ve bir boşuna aktarma yirmi bir birim tutar, ellide on iki, otuzda dört. En ucuzu otuz. Park başvurusunda ise bekleyen başvuru ertesi güne kalan bir dal budamasıdır, ama memur zamanı kıttır; boşuna aktarmayı kaçan başvurunun iki katı ağır sayalım. Yetmiş dört birim tutar, elli beş, otuz sekiz. En ucuzu yetmiş. Model değişmedi, eğri değişmedi; yalnız eğrinin hangi noktasında durulacağı değişti.

Kapasite daha da doğrudan çalışır. Masa günde kırk başvuru bitirebiliyorsa, eşik günün puanları sıralandığında kırkıncı sıraya düşen değerdir. Bu durumda eşik bir sonuçtur: önce sayı seçilir, eşik ondan okunur.

Sahada

Nerede yanılır

İlk tuzak, eşiğin seçildiği veridir. Onur on iki örneğini doğrulama başvurularından aldı, Burcu'nun kasada tuttuğu test kümesinden değil. Eşik de bir ayardır. Test kümesine bakarak seçilirse, Ders 6.2'deki elli başvurunun başına geleni yaşar: sınav ders kitabına döner ve test sonucu iyimser çıkar. Eşik doğrulama verisinde seçilir, test kümesi seçilen eşikle bir kez açılır.

İkincisi, eğrinin küçük örnekteki oynaklığıdır. On iki başvuruda tek bir gerçek başvurunun yer değiştirmesi doğru pozitif oranını yirmi puan oynatır. Eğri bir merdivendir ve basamakların her biri tek bir başvurudur. Az sayıda pozitifle seçilmiş bir eşik, ilk büyük örnekte bambaşka bir yere düşebilir.

Üçüncüsü, eşiğin bir sayı olarak sabit, anlamının ise oynak olmasıdır. Sağlayıcı modeli güncellediğinde parametreler değişir. Yeni sürümde aynı başvuru yüzde altmış iki yerine yüzde yetmiş bir alabilir. Eşik yerinde dursa bile eğrinin hangi noktasında durulduğu değişmiş olur. Her model güncellemesinden sonra eşik yeniden seçilir.

Dördüncüsü, kapasiteden okunan eşiğin karışımla kaymasıdır. Ders 6.6'da yazın park ve çevre başvurularının çoğaldığını gördük. Günde kırk aktarma sınırı aynı kalırken başvuru karışımı değişirse, kırkıncı sıraya düşen puan da değişir. ROC eğrisi sınıf oranından etkilenmez; masaya düşen iş ise doğrudan etkilenir. Biri sabit görünürken öteki kayabilir.

Son olarak alan, bütün eşiklerin ortalamasıdır; oysa bir müdürlük eğrinin yalnız küçük bir bölümünde çalışır.

Uygulama

Bu çalışmada on kurgusal başvuruyla bir eşiği üç yerde deneyecek, eğri altındaki alanı çift sayarak bulacak ve bir kapasiteden eşik okuyacaksın. Kâğıt kalem yeter.

1. Başvuruları büyükten küçüğe yaz. Olasılıklar ve gerçek durumları şöyle: yüzde doksan iki, memur gerekli; seksen beş, gerekmez; yetmiş yedi, gerekli; altmış dört, gerekmez; elli sekiz, gerekli; kırk beş, gerekmez; kırk bir, gerekmez; otuz üç, gerekli; yirmi, gerekmez; on iki, gerekmez.
2. Gerçekten memur isteyenleri ve istemeyenleri say.
3. Eşik yüzde yetmiş, yüzde elli ve yüzde otuz iken dört kutuyu doldur: doğru aktarılan, boşuna aktarılan, kaçan, doğru tutulan.
4. Her eşik için doğru pozitif oranını ve yanlış pozitif oranını hesapla. Altı noktayı bir kareli kâğıda işaretle: sol alt köşe, üç eşik ve sağ üst köşe. Çizgiyle birleştir.
5. Alanı çift sayarak bul. Her gerçek başvuru için kendisinden düşük puanlı kaç gereksiz başvuru olduğunu yaz, topla, toplam çift sayısına böl.
6. Masa bu on başvurudan yalnız üçüne bakabiliyorsa eşik nereye düşer? O eşikte kaç gerçek başvuru kaçar?
7. Kaçan bir başvurunun boşuna aktarmadan beş kat ağır olduğu bir kullanıcı için üç eşikten hangisini önerirsin? Hesabını yaz.

Hesabını şu sayılarla kıyasla. Dört gerçek, altı gereksiz başvuru var. Yetmişte iki doğru, bir boşuna aktarma, iki kaçan, beş doğru tutulan; oranlar yüzde elli ile yüzde on altı virgül yedi. Ellide üç, iki, bir, dört; oranlar yüzde yetmiş beş ile yüzde otuz üç virgül üç. Otuzda dört, dört, sıfır, iki; oranlar yüzde yüz ile yüzde altmış altı virgül yedi. Çiftler altı, beş, dört ve iki; on yedi bölü yirmi dört, yaklaşık sıfır virgül yetmiş bir. Üç başvuruluk kapasitede eşik altmış dört ile yetmiş yedi arasına düşer ve iki gerçek başvuru kaçar. Beş katlık bedelde yetmiş on bir, elli yedi, otuz dört birim tutar; öneri otuz.

Defter: Sayfanın başına «Kimin eşiği?» yaz. Altına üç eşikteki dört kutuyu, alanı ve iki önerini koy. Her önerinin yanına o eşiği seçmesi gereken kişinin görevini yaz, adını değil: nöbetçi amir, masa amiri, birim şefi.

Hata köşesi

Sorumluluk

Eşiği Onur seçmez. Onur'un işi, eğriyi doğrulama verisiyle çizmek, her eşiğin dört kutusunu ve masaya düşecek günlük aktarma sayısını tablo hâlinde vermektir. Hangi müdürlüğün hangi eşikte çalışacağına Hakan Bey ile o müdürlüğün amiri karar verir, çünkü kaçan bir başvurunun bedelini onlar taşır. Seçilen eşik, gerekçesi ve tarihiyle yazılır. Her ay gerçekleşen aktarma sayısı ve kaçan başvurular eşiğin hâlâ tuttuğunu doğrulamak için raporlanır. Model her güncellendiğinde eşik yeniden seçilir. Zarar kimin kapısına dokunur? Bodrumu dolan apartmanın.

Kapanış

1. Olasılık bir karar değildir; kararı bir eşik üretir ve eşik indikçe hem yakalanan pozitifler hem boşuna pozitif sayılan negatifler artar.
2. ROC eğrisi bütün eşikleri tek resimde gösterir; eğri altındaki alan, rastgele bir pozitifin rastgele bir negatiften yüksek puan alma olasılığıdır ve hangi eşikte çalışılacağını söylemez.
3. Eşik, hatanın bedelinden ve kapasiteden seçilir; aynı model farklı kullanımlarda farklı eşikle çalışabilir ve seçimi o bedeli taşıyan kişi yapar.

Üç soru

1. Açılışta Hakan Bey ile Cevdet Bey sınırı ters yönlere çekmek istedi. İkisi aynı modeli kullandığı hâlde neden ikisi de haklı olabilir?
2. On iki başvuruda alan neden sıfır virgül seksen çıktı ve bu sayı yüzde ellilik eşikte kaç doğru karar verildiğini söyler mi?
3. Elif'in raporunda kapasiteden okunan eşik yüzde otuz dörtten yirmi sekize indi. Bu, modelin kötüleştiğini mi gösterir?

Yanıtlar

1. Model ve eğri aynıdır; farklı olan, eğrinin hangi noktasında durulacağıdır. Masanın kapasitesi kıtsa boşuna aktarma pahalıdır ve eşik yukarı çıkar. Su başvurusunda kaçan bir başvuru bodrumu dolan bir apartman demektir, eşik aşağı iner. İki müdürlük için iki ayrı eşik seçilebilir.
2. Beş gerçek ve yedi gereksiz başvuruyla otuz beş çift kurulur; yirmi sekizinde gerçek başvurunun puanı daha yüksektir, yirmi sekiz bölü otuz beş sıfır virgül seksendir. Bu sayı sıralamayı ölçer. Yüzde ellide kaç doğru karar verildiğini dört kutu söyler: dört doğru aktarma ve beş doğru tutma, on ikide dokuz.
3. Tek başına göstermez. Eşik kapasiteden okunduğu için en üstteki kırk dosyanın karışımına bağlıdır. Kampanyayla küçük dosyalar çoğalınca kırkıncı sıradaki puan düştü. Modelin kötüleşip kötüleşmediği, sonuçlanmış dosyalarda eğrinin ve alanın yeniden ölçülmesiyle anlaşılır.

Sonraki derse köprü

Bu derste olasılığı yalnız sıralamak için kullandık; eğri de alan da yüzde yetmişin gerçekten yüzde yetmiş anlamına gelip gelmediğini sormadı. Oysa Cevdet Bey'in nöbetçisi bir başvuruda "yüzde altmış iki" gördüğünde, bu sayıyı bir sıklık gibi okumak isteyecek. Ders 7.5, Kalibrasyon, bunu soruyor: model "yüzde seksen" dediğinde, o başvuruların gerçekten yüzde sekseni tutuyor mu?