Karışıklık matrisi

Açılış

Teknisyenlerin kilitli klasörü nisanın son haftasında açıldı. İçinde geçen ayın dört bin kutu fotoğrafı vardı; her birinin yanında iki teknisyenin ortak kararı yazıyordu. Tedarikçi ikinci kamerayı bu fotoğraflarda çalıştırdı ve iki gün sonra sonucu tek bir satırla gönderdi: doğru karar oranı yüzde doksan dokuz virgül iki.

Murat Bey aynı gün cevap yazdı. Yüzde değil, dört sayı istiyordu: kamera kaç ezik kutuyu attı, kaçını geçirdi, kaç sağlam kutuyu attı, kaçını geçirdi.

Tablo cuma sabahı geldi. İki satır, iki sütun, köşelerde dört sayı. Başlıklarda yalnız "pozitif" ve "negatif" yazıyordu. Sağ üst köşedeki kutunun adı yanlış pozitifti ve içinde yirmi altı vardı; sol alttaki yanlış negatifte yedi.

Üretim müdürü Tuncay Bey tabloyu ilk okuyan oldu ve yüzü asıldı. "Pozitif sağlam demek," dedi. "Kutu testi geçti, sonuç olumlu. Yanlış pozitif de kameranın sağlam deyip geçirdiği ezik kutu. Yirmi altı ezik kutu müşteriye gitmiş." Kalemi aldı, 4.5'teki bedel tablosunu açtı: yirmi altı kere yüz elli, yedi kere iki. Üç bin dokuz yüz on dört lira.

Laboratuvardan gelen Aynur Hanım tabloya baktı ve başını salladı. "Bizde pozitif, aradığın şeyin bulunması demek. Numunede kusur bulunduysa test pozitiftir. Burada aranan ezik. Yanlış pozitif, kameranın ezik deyip attığı sağlam kutu." Aynı tabloyu aynı bedellerle hesapladı: yirmi altı kere iki, yedi kere yüz elli. Bin yüz iki lira.

Aynı dört sayı, iki okuma, aralarında üç buçuk kattan fazla fark. Murat Bey tedarikçinin mühendisini aradı. Mühendis şaşırdı: "Pozitif tabii ki ezik, kamera onu arıyor." Aynur Hanım haklıydı. Ama tabloda bunu söyleyen tek kelime yoktu.

Murat Bey telefonu kapatınca tablonun üstüne elle bir satır yazdı: "Pozitif nedir?"

Tek fikir

Bir sınıflandırıcının kararlarını gerçek sınıfla çaprazlayan tablo, her hatanın türünü ayrı sayar. Tablonun anlamı hangi sınıfın pozitif seçildiğine ve satırın mı sütunun mu gerçeği gösterdiğine bağlıdır; bu iki seçim tablonun başında adlandırılır.

Nasıl çalışır

Murat Bey'in istediği dört sayı, sınama setindeki her kutunun iki bilgisinden çıkar: teknisyenlerin yazdığı gerçek sınıf ve kameranın verdiği karar. Gerçek iki değer alır, ezik ya da sağlam; karar da iki değer alır, at ya da geçir. Her kutu bu dört bileşimden birine düşer ve kutular sayılır.

İki sınıflı bir işte sınıflardan biri pozitif seçilir. Pozitif "iyi" demek değildir; sistemin aradığı, bulduğunda harekete geçtiği sınıftır. Kamerada bu ezik kutudur, çünkü kamera onu bulunca kutuyu atar. Pozitif seçilince dört hücrenin adları kendiliğinden ortaya çıkar. Kameranın ezik dediği ve gerçekten ezik olan kutu doğru pozitiftir; sağlam dediği ve gerçekten sağlam olan kutu doğru negatiftir. Geriye iki hata kalır.

Şimdi 4.5'teki iki ayarı dört kutuya yazalım. Sınama seti on bin kutuydu. Rapor yalnız hataları vermişti; kaç kutunun gerçekten ezik olduğunu, kilitli klasördeki oranla tutarlı olsun diye, yüz yirmi kabul edelim. Satırlar gerçeği, sütunlar kameranın kararını gösteriyor.

Birinci satırın toplamı, yüz yirmi, iki ayarda da aynı; çünkü sınama setinde kaç ezik kutu olduğu kameraya bağlı değildir. Sütun toplamları değişir: birinci ayar yüz kırk kutu atar, ikinci ayar iki yüz beş. Köşegenin toplamı birinci ayarda dokuz bin dokuz yüz kırk, ikinci ayarda dokuz bin dokuz yüz beştir; açılıştaki türden tek bir yüzde, bu köşegeni on bine bölmekten ibarettir. O yüzde birinci ayarı öne koyar. 4.5'te gördüğümüz gibi fabrikaya ucuz gelen ikinci ayardır ve bunu gösteren, köşegenin değil köşegen dışındaki iki hücrenin içidir.

İki sınıftan fazlası olduğunda tablo büyür ama mantığı aynı kalır. Onur'un asistanı başvuruları beş müdürlükten birine yönlendiriyor. Burcu'nun nisanda etiketlediği yüz başvuruda tablo şöyle çıktı; satırlar Burcu'nun yazdığı doğru müdürlük, sütunlar asistanın kararı.

Köşegen seksen üç başvuruyu doğru gösteriyor; asıl bilgi on yedi yanlışın nereye toplandığında. Su ve Kanalizasyon ile Fen İşleri arasındaki iki hücre, beş ve dört, toplam dokuz yanlış eder; yanlışların yarısından fazlası tek bir çiftin içinde. Çok sınıflı tabloda pozitif ve negatif tek bir çift değildir: her müdürlük kendi gözünden pozitiftir. Su ve Kanalizasyon satırındaki beş, o müdürlüğün kaçırdığı başvurulardır; aynı beş, Fen İşleri sütununda o müdürlüğe yanlışlıkla gelen iş olarak durur. Her köşegen dışı hücre bir müdürlük için kaçan, bir başkası için fazladan gelen işi sayar.

Sahada

Nerede yanılır

Açılıştaki karışıklık bir hesap hatası değildi; iki kişi aynı tabloyu iki ayrı sözlükle okudu. "Pozitif" kelimesi gündelik dilde iyi anlamına gelir, tıpta ve laboratuvarda aranan şeyin bulunduğunu söyler, kalite kontrolde ise bazen "kabul edildi" anlamında kullanılır. Bir tablo bu kelimeyi tanımsız taşıdığında okur kendi alanının anlamını koyar ve yanlış okuduğunu fark etmez, çünkü sayılar her iki okumada da makul görünür. Satır ile sütunun yeri de aynı tuzağı kurar: bir yazılımın ya da bir kitabın düzenine alışmış biri, başlıklara bakmadan başka düzende yazılmış tabloyu ters okur.

İkinci yanılma gerçeğin kendisindedir. Tablo, bir eksenindeki sınıfı gerçek sayar; oysa o sınıfı birileri yazmıştır. 3.1'de Murat Bey'in iki teknisyeni aynı iki yüz fotoğrafın on yedisinde ayrışmıştı. Kameranın yedi yanlış negatifinin bir kısmı aslında teknisyenin yanlış etiketi olabilir. Elif'in "incelenmedi" satırı ve Seda Hanım'ın boş sütunu aynı sorunun daha keskin biçimleridir: gerçeği hiç ölçülmemiş örnekler tabloya ya hiç girmez ya da varsayımla girer.

Üçüncüsü, tablo yalnız sınama setinin karışımını sayar. Kilitli klasör geçen ayın fotoğraflarıydı; o ay gece vardiyasında koyu zeminli bir sipariş azsa, gece hatası tabloda az görünür. Dört sayının hepsi doğru olabilir ve yine de banttaki gelecek ayı anlatmayabilir. Bu yüzden 5.4'te sınama raporu gece ve gündüz için ayrı istenmişti; karışıklık matrisi de ayrı ayrı kurulur.

Uygulama

Bu çalışmada on iki kutuluk küçük bir sınamadan karışıklık matrisini kendin kuracak, aynı kutuları iki ayrı pozitif seçimiyle ve iki ayrı düzende yazacak, sonra bedeli hesaplayacaksın. Kâğıt kalem yeter.

1. Tablonun başına iki satır yaz: "Pozitif: ezik. Satırlar teknisyenin kararı, sütunlar kameranın kararı."
2. İki satırlık, iki sütunluk boş bir kutu çiz. Üst satır ezik, alt satır sağlam; sol sütun at, sağ sütun geçir.
3. On iki kutuyu tek tek ilgili hücreye bir çizgiyle işle. Hücreleri say ve her birine adını yaz.
4. Satır toplamlarını ve sütun toplamlarını yaz. Hangisi sınama setine, hangisi kameraya bağlı?
5. 4.5'teki bedelleri uygula: sağlam bir kutuyu atmak iki lira, ezik bir kutuyu geçirmek yüz elli lira. Toplam bedeli bul.
6. Şimdi pozitifi sağlam seç ve aynı sayıları yeni adlarıyla yeniden yaz. Hangi hücrenin adı değişti, hangi sayı değişti?
7. Birinci tabloyu ters düzende yaz: satırlar kameranın kararı, sütunlar teknisyenin kararı. Yanlış pozitif hangi köşeye taşındı?
8. Son olarak Tuncay Bey'in hatasını kendin yap: altıncı adımdaki tabloya, "yanlış pozitif iki lira, yanlış negatif yüz elli lira" kuralını adlarına bakarak uygula. Çıkan sayıyı beşinci adımınkiyle karşılaştır.

Doğru hesapta ezik dört, sağlam sekiz kutu vardır. Birinci tabloda doğru pozitif üç, yanlış negatif bir, yanlış pozitif iki, doğru negatif altıdır. Satır toplamları, dört ve sekiz, sınama setinin; sütun toplamları, beş atılan ve yedi geçirilen, kameranın eseridir. Bedel iki kere iki artı bir kere yüz elli, yüz elli dört liradır. Pozitif sağlam seçilince doğru pozitif altı, yanlış pozitif bir, yanlış negatif iki, doğru negatif üç olur; hiçbir kutu yer değiştirmez, yalnız adlar değişir. Ters düzende yanlış pozitif sol alttan sağ üste geçer. Sekizinci adımda bir kere iki artı iki kere yüz elli, üç yüz iki lira çıkar: yanlış okuma bedeli neredeyse iki katına çıkarmıştır.

Defter: "Dört kutu" adlı sayfaya on iki kutunun iki tablosunu başlık satırlarıyla birlikte yaz; altına, sık okuduğun bir sınama ya da test sonucunda "pozitif" kelimesinin neyi gösterdiğini ve bunu nereden öğrendiğini not et.

Hata köşesi

Sorumluluk

Pozitif sınıfı ve tablonun düzenini sınamayı yapan tedarikçi değil, sonucuna göre karar verecek kurum belirler ve yazılı hâle getirir. Murat Bey bunu sözleşmenin sınama ekine taşıdı: pozitif ezik kutudur, satırlar teknisyen kararıdır, sütunlar kamera kararıdır, her raporda dört sayı gece ve gündüz için ayrı verilir ve teknisyenlerle anlaşmazlık çıkan fotoğraflar ayrıca listelenir. Tuncay Bey ile Aynur Hanım yeni şablonu birlikte imzaladı. Tabloyu okuyan kişi de sorumludur: başlığı tanımsız bir tablodan bedel hesaplamadan önce, pozitifin ne olduğunu raporu hazırlayana sorup doğrular.

Kapanış

1. Karışıklık matrisi bir sınıflandırıcının kararlarını gerçek sınıfla çaprazlar; köşegen doğru kararları, köşegen dışı hücreler hangi sınıfın hangisiyle karıştığını sayar ve tek bir yüzdenin sakladığı hata türlerini gösterir.
2. Yanlış pozitif ile yanlış negatifin hangi hatayı adlandırdığı pozitif seçilen sınıfa, hangi köşede durduğu satır ve sütun düzenine bağlıdır; bu yüzden pozitif ve düzen tablonun başına yazılır, okurken önce başlığa bakılır.
3. Tablonun gerçek ekseni birilerinin yazdığı etiketlerdir ve yalnız sınama setinin karışımını sayar; gerçeği ölçülmemiş örnekler ve sınama setinde az bulunan koşullar tablonun dışında kalır.

Üç soru

1. Açılışta Tuncay Bey ile Aynur Hanım aynı tablodan neden üç bin dokuz yüz on dört ve bin yüz iki lira gibi iki ayrı bedel çıkardı?
2. Onur'un tablosunda Su ve Kanalizasyon satırındaki beş sayısı iki müdürlük için ayrı ayrı ne anlama gelir?
3. Dr. Seda Hanım merkezin kendi kayıtlarından neden tam bir karışıklık matrisi kuramadı?

Yanıtlar

1. Tuncay Bey pozitifi sağlam diye okudu; yirmi altı yanlış pozitifi müşteriye giden ezik kutu sayıp yüz elli liradan, yedi yanlış negatifi atılan sağlam kutu sayıp iki liradan fiyatladı. Aynur Hanım pozitifi ezik diye okudu ve bedelleri ters hücrelere koydu. Sayılar aynıydı; değişen, hangi hücrenin hangi hatayı gösterdiğiydi. Tedarikçi pozitifi ezik seçtiği için doğru okuma Aynur Hanım'ınkiydi.
2. Su ve Kanalizasyon için bu beş başvuru, kendisine gelmesi gerekirken kaçan işlerdir; o müdürlüğün gözünden yanlış negatiftir. Fen İşleri için aynı beş başvuru, kendisine ait olmadığı hâlde gelen işlerdir; onun gözünden yanlış pozitiftir. Çok sınıflı tabloda her köşegen dışı hücre bir sınıf için kaçan, bir başka sınıf için fazladan gelen örnekleri sayar.
3. Programın "sevk gerekmez" dediği hastaları hiçbir göz hekimi görmemişti, bu yüzden o hastaların gerçek durumu bilinmiyordu. Sevk edilenlerin sütunu doldurulabildi ama sevk edilmeyenler arasında doğru negatif ile yanlış negatifi ayıracak bir gerçek yoktu. Tablonun bir yarısını kurmak için programın kararından bağımsız olarak seçilmiş hastaların da uzmana gösterilmesi gerekiyordu.

Sonraki derse köprü

Dört kutu sayıları verdi; bedel tablosu da hangi kutunun daha pahalı olduğunu söylüyor. Ama Murat Bey'in sözleşmesine yazacağı şey dört sayı değil, bir hedef olacak. Tablodan iki ayrı oran okunur: kameranın attığı kutuların ne kadarının gerçekten ezik olduğu ve gerçekten ezik olan kutuların ne kadarını kameranın yakaladığı. Ders 7.3, Kesinlik ve duyarlılık, bu iki oranı ve hangi hatanın daha pahalı olduğuna göre aralarında nasıl seçim yapılacağını konu ediyor.