Bir modelin karnesi

Açılış

Mayısın ilk pazartesisi tedarikçinin satış temsilcisi, ikinci kameranın bir yıllık sözleşmesini yenilemek için fabrikaya geldi. Yanında yeni yazılım sürümünün tanıtım dosyası vardı. Dosyanın kapağında tek bir sayı duruyordu: eğri altındaki alan sıfır virgül doksan yedi.

Tuncay Bey kapağa bakıp güldü. "Doğruluk demeyi bırakmışlar," dedi. "Bizden öğrendiler."

Murat Bey gülmedi. Nisandan beri masasında biriken kâğıtları düşündü: pozitifin ne olduğunu soran tablo, kilitli klasörden çıkan dört sayı, muhasebenin bedel tablosu, eşiğin hangi gün değiştiğini gösteren sözleşme eki, gece ile gündüzün ayrı sayıları. Kapaktaki sayı bunların hiçbirine cevap vermiyordu. Kameranın kutuları ne kadar iyi sıraladığını söylüyordu; bandın hangi eşikte çalıştığını, ayda kaç ezik kutunun müşteriye gittiğini söylemiyordu.

Temsilci gidince Murat Bey toplantı odasının tahtasının ortasına dikey bir çizgi çekti. Sola sorular, sağa cevaplar yazılacaktı. Aynur Hanım laboratuvardan kilitli klasörün sonuç tablosunu, Tuncay Bey muhasebenin bedel hesabını getirdi. Öğleden sonra tahtada on iki satır vardı. Aynur Hanım satırları bir sayfaya geçirdi ve sayfanın başına tek bir kelime yazdı: karne.

Akşam Murat Bey sayfayı temsilciye gönderdi ve altına bir cümle ekledi: "Yenilemeyi bu sayfa dolunca konuşalım." Sonra sayfaya bir kez daha baktı. On iki satırın hepsi gerekliydi. Ama sözleşmenin ödeme maddesine hangisi yazılacaktı?

Tek fikir

Bir modeli tek sayıyla tartmak, o sayının hangi hatayı saydığını ve hangisini görmezden geldiğini seçmektir. Ölçüt modelden değil işten seçilir: pozitifin ne olduğundan, taban oranından ve hangi hatanın daha pahalı olduğundan.

Nasıl çalışır

Bu modülde bir sınıflandırıcıdan pek çok sayı okuduk: doğruluk, dört kutu, kesinlik, duyarlılık, özgüllük, eşik, eğri altındaki alan. Ders 7.5 kalibrasyonu, Ders 7.6 taban oranını ekledi. Her birinin hangi soruyu cevapladığını ayrı ayrı gördük. Bu dersin sorusu başka: bunlardan hangisi karara yazılacak, hangileri onun yanında bekçi olarak duracak?

Ders 4.5'teki kayıp fonksiyonundan farkı, kimin işine yaradığındadır. Kayıp, eğitim sırasında parametreleri ayarlayan sayıdır; ölçüt, eğitim bittikten sonra insanların modeli tarttığı sayıdır. Bir model kare hatayla eğitilip ortalama mutlak hatayla raporlanabilir. Bir sınıflandırıcı olasılık kaybıyla eğitilir, tanıtım dosyasında eğri altındaki alanla anılır, bantta ise bir bedel tablosuyla yaşar. Bu üç sayı birbirinden ne kadar uzaksa, kapaktaki sayının bantta olacakları anlatma ihtimali o kadar düşer.

Murat Bey'in karnesi, kilitli klasörün nisan sonucuyla şöyle doldu.

Tablonun ilk yarısı sonraki her sayıyı okunur kılar. Tedarikçinin geçen ay verdiği yüzde doksan dokuz virgül iki, beşinci satırın yanında yüzde doksan sekiz virgül sekizlik "hepsi sağlam" kuralından yalnız dört binde on beş kutu ileride duruyordu. Aynı iki kuralı on ikinci satırın diliyle tartınca tablo değişiyor: kamera bin yüz iki lira, kural yedi bin iki yüz lira. Kamera, hiçbir şey yapmamanın bedelinin yüzde seksen dört virgül yedisini ortadan kaldırıyor. Doğruluk farkı küçük görünüyordu; bedel farkı büyük.

Her ölçüt, en basit kuralla aynı dille ölçülmeden yorumlanmaz; o kural karnenin sıfır noktasıdır. Hand'in tablosu bir uyarı da taşır: en iyi modelle sade bir model arasındaki fark çoğu zaman küçüktür ve bu küçük fark, sınama verisi, bedeller ya da bant değiştiğinde kolayca kaybolur.

On ikinci satır neden bedel toplamı oldu? Çünkü fabrikada iki hatanın bedeli biliniyordu. Hand'in ayrımıyla, kullanım bir ölçüyü kesin tanımlayacak kadar belliyse o ölçü seçilir. Eğri altındaki alan, bedelleri bilinmeyen bir işte iki modelin sıralama yeteneğini karşılaştırmaya yarar. Murat Bey onu tanıtım dosyasında bıraktı; ödeme maddesine bedel toplamını, yanına bir koruma satırı yazdı: gece duyarlılığı yüzde seksenin altına düşerse toplam bedel ne olursa olsun ödeme bekler. Ana ölçüt iyileşirken bir alt grubun sessizce kötüleşmesini bu koruma ölçütü yakalar. Nisan klasöründe gece duyarlılığı yüzde yetmiş beşti; yeni sürüm bu satırı geçmeden yenileme imzalanmayacaktı.

Model bir sayı tahmin ediyorsa karnenin ikinci satırı değişir. Pozitif yoktur; hatanın birimi ve yönü vardır. Ortalama mutlak hata, hatayı kilogramla ya da lirayla söyler. Büyük hatalar orantısız pahalıysa Ders 4.5'teki ortalama kare hata, bir yön ötekinden pahalıysa aynı dersteki asimetrik kayıp seçilir. Ders 5.1'deki belirlilik katsayısı ise aslında beşinci satırdır: modelin hatasını, her seferinde ortalamayı söyleyen en basit tahminle kıyaslar.

Sahada

Nerede yanılır

Karne, doldurulduğu anda bir hedefe de dönüşür. Tedarikçi ödemenin bedel toplamına bağlı olduğunu ve sınamanın hangi fotoğraflarla yapılacağını bilirse, yazılımı o klasöre göre ayarlayabilir; Ders 6.2'deki elli başvuru ders kitabına böyle dönmüştü. Murat Bey bu yüzden her yenilemede yeni bir kilitli klasör istiyor ve klasörün içeriğini tedarikçiye sınamadan önce göstermiyor.

Bedeller de bir ölçümdür ve yanılabilir. Yüz elli lira, muhasebenin geçen yılki iadelerden çıkardığı bir ortalamadır. Bir lokum firmasının bütün paleti geri göndermesi gibi tek bir olay bu sayıyı katlayabilir. Karneye tek bir bedel yerine bir aralık yazmak, sıralamanın ne kadar sağlam olduğunu gösterir. Ders 4.5'teki iki ayar arasındaki sıralama, ezik kutunun bedeli yaklaşık yedi liranın altına düşmedikçe değişmez; bu kadar geniş bir aralıkta aynı kalan bir sıralamaya güvenilebilir.

Taban oranı sınama klasörüne aittir. Nisanın kutularında ezik payı yüzde bir virgül ikiydi; koyu zeminli siparişlerin gece basıldığı bir ayda pay da, kesinlik de değişir. Karnedeki kesinlik o ayın bant akışı için bir tahmindir, kalıcı bir özellik değildir.

Küçük farklar da yanıltır. Kırk sekiz ezik kutuda tek bir kutu duyarlılığı iki puan oynatır. İki tedarikçinin karnesi arasında bir iki puanlık fark, başka bir ayın klasöründe tersine dönebilir. Hand'in uyarısı burada somutlaşır: laboratuvarda ölçülen küçük bir üstünlük, sınama verisi ile gerçek kullanım arasındaki uyumsuzluğun gürültüsünde kaybolabilir.

Uygulama

Aşağıdaki kart bu modülün tamamını tek sayfada toplar. Satırları sırayla doldurursan, bir modelin hangi sayıyla tartılacağına kendi gerekçenle varırsın.

1. Model ne üretiyor? Bir sınıf ya da olasılıksa dört kutu yolundan, bir sayıysa hata birimi yolundan ilerle.
2. Pozitifi ve tablonun düzenini yaz. Sayı tahmininde hatanın birimini ve hangi yönün daha pahalı olduğunu yaz.
3. Sınama verisini adlandır: model ve eşik seçilirken hiç açılmamış olmalı, sahadaki akışa benzemeli.
4. Taban oranını yaz: sınamada ve sahada pozitiflerin payı.
5. En basit kuralı aynı ölçütle ölç: hepsini negatif saymak, en kalabalık sınıfı seçmek ya da her seferinde ortalamayı söylemek.
6. İki hatanın bedelini yaz; tek bir sayı bilinmiyorsa bir aralık yaz.
7. Ana ölçütü seç. Bedeller biliniyorsa toplam bedel; kaçan pahalı ve kapasite sınırsızsa duyarlılık; boşuna işaret pahalı ya da kapasite dar ise kesinlik; bedeller hiç bilinmiyorsa eğri altındaki alan, yalnız sıralamayı karşılaştırmak için.
8. Koruma ölçütü koy: ana ölçüt iyileşirken hangi sayı hangi sınırın altına düşmemeli, hangi alt grupta ayrı bakılmalı.
9. Eşiği, onu seçen kişinin görevini ve tarihini yaz; kapasite varsa eşiğin oradan okunduğunu belirt.
10. Model bir yüzde gösteriyor ve biri o yüzdeyi bir sıklık gibi okuyacaksa kalibrasyon satırını doldur.
11. Karnenin yenilenme koşulunu yaz: model güncellemesi, bedel değişimi, taban oranında kayma.

Modeli bir kargo deposundan, bir mandıradan, bir okulun devamsızlık uyarısından ya da bir kütüphanenin geç iade tahmininden kurabilirsin; sayıları da sen uydur. Kendi sayın yoksa şu depoyu kullan: hasarlı paketleri ayıklayan bir kamera iki bin paketi görmüş, bunların otuzu gerçekten hasarlı. Kamera yirmi dört hasarlı paketi yakalamış, altıyı kaçırmış, altmış sağlam paketi de kenara ayırmış. Müşteriye giden hasarlı paket yüz yirmi lira, boşuna ayrılan paketin yeniden kontrolü beş lira tutuyor.

Bu depoda taban oranı yüzde bir buçuk. Kesinlik yüzde yirmi sekiz virgül altı, duyarlılık yüzde seksen. Doğruluk yüzde doksan altı virgül yedi; "hepsi sağlam" kuralının yüzde doksan sekiz buçuğunun altında. Bedelde tablo tersine döner: kamera bin yirmi lira, kural üç bin altı yüz lira tutar; kamera kaçınılabilir bedelin yüzde yetmiş bir virgül yedisini ortadan kaldırır. Doğruluğa bakan biri kamerayı söker, bedele bakan biri tutar. Ana ölçüt bedel toplamı olur; koruma satırına duyarlılık için bir alt sınır yazmak mantıklıdır, çünkü kaçan paket pahalı olandır.

Defter: "Karne" adlı sayfaya kartın on bir satırını boş bir şablon olarak yaz. Karşı sayfaya kurgusal modelinin karnesini doldur ve en alta, karar sayısının değişmesi için bedellerin ne kadar oynaması gerektiğini not et.

Hata köşesi

Sorumluluk

Karneyi tedarikçi doldurur, ama satırların sorularını kamerayı kullanacak kurum yazar. Pozitifin ne olduğuna, bedellere ve ana ölçüte fabrika karar verir: bedelleri muhasebe, pozitifin tanımını teknisyenler, eşiği Tuncay Bey ile Murat Bey imzalar. Aynur Hanım sınama klasörünün kilitli kaldığını ve sayıların o klasörden çıktığını doğrular. Karne doldurulduktan sonra sorumluluk bitmez: her ay gece ve gündüz sayıları rapora girer, koruma satırının hâlâ tuttuğu kontrol edilir. Zarar en önce kime dokunur? Kolisi istifte ezilen müşteriye ve boşuna atılan kutuların hesabını veren bant işçisine.

Kapanış

1. Değerlendirme ölçütü, hangi hatanın sayılacağının ve hangisinin görmezden gelineceğinin seçimidir; bu seçim modelden değil işten, pozitifin tanımından, taban oranından ve hataların bedelinden yapılır.
2. Her ölçüt en basit kuralla aynı dille ölçülür; doğrulukta küçük görünen bir fark bedelde büyük, bedelde büyük görünen bir üstünlük başka bir ayın verisinde küçük çıkabilir.
3. Karne bir ana ölçüt, bir koruma ölçütü ve bir yenilenme koşulu taşır; ödeme tek sayıya bağlanabilir, karar ise bütün sayfaya bakılarak verilir.

Üç soru

1. Tedarikçinin kapağındaki sıfır virgül doksan yedilik alan, Murat Bey'in ödeme maddesi için neden uygun bir ölçüt değildi?
2. Kargo deposundaki kameranın doğruluğu "hepsi sağlam" kuralının altında kaldığı hâlde neden sökülmemeli?
3. Aynur Hanım'ın dayanım karnesinde pozitif satırının yerine ne geçti ve neden?

Yanıtlar

1. Eğri altındaki alan, kameranın ezik kutuları sağlamların önüne koyma yeteneğini bütün eşiklerin ortalaması olarak verir. Fabrikada eşik belliydi ve iki hatanın bedeli biliniyordu; bu durumda Hand'in ölçütüyle seçimi o bilinen bedeller belirler. Alan bandın gerçekten çalıştığı noktadaki kaçan ve boşuna atılan kutu sayısını söylemez, bu yüzden ödeme bedel toplamına bağlandı.
2. Taban oranı yüzde bir buçuk olduğu için "hepsi sağlam" kuralı hiçbir şey yapmadan yüzde doksan sekiz buçuk doğru çıkar. Ama otuz hasarlı paketin hepsini müşteriye gönderir ve üç bin altı yüz lira tutar. Kamera altmış sağlam paketi boşuna ayırsa da yirmi dört hasarlıyı yakalar ve toplam bedeli bin yirmi liraya indirir. Doğruluk iki hatayı eşit saydığı için bu farkı göremez.
3. Model bir sınıf değil bir sayı tahmin ettiği için pozitif yoktur; yerine hatanın birimi ve yönü geçti. Dayanımı olduğundan yüksek tahmin etmek istifte çöken bir palet, düşük tahmin etmek gereğinden kalın karton demektir; iki yönün bedeli eşit değildir. Bu yüzden ana ölçüt kilogram olarak ortalama mutlak hata oldu ve yüksek tahminler ayrıca sayıldı.

Sonraki derse köprü

Bu modülde modelleri hep dışarıdan tarttık: hangi kararları verdiklerini saydık, hangi hatanın kime dokunduğunu hesapladık, içlerinde ne olduğunu sormadık. Seviye 2 içeri bakıyor. Ders 8.1, Algılayıcı, bin dokuz yüz elli sekizden kalan bir fikirle başlıyor: girdileri ağırlıklarla çarpan, toplayan ve toplamı bir eşikle karşılaştıran tek bir birim. Bu modülün eşiği bir modelin çıktısına konuyordu; orada eşik, kararı veren birimin kendi içinde duruyor.