Kayıp fonksiyonu

Açılış

Şubatın ikinci haftası tedarikçinin ikinci bant kamerası için hazırladığı sınama raporu Murat Bey'in masasına geldi. Kamera on bin kutuluk bir sınama setinde iki ayarla denenmişti. Birinci ayarda kırk sağlam kutu atılmış, yirmi ezik kutu banttan geçip gitmişti; toplam altmış hata. İkinci ayarda doksan sağlam kutu atılmış, yalnız beş ezik kutu kaçmıştı; toplam doksan beş hata. Raporun son sayfasında tek satırlık bir öneri vardı: birinci ayar, çünkü toplam hata sayısı daha düşük.

Murat Bey öneriyi okuyup sayfayı çevirmedi. Kaçan yirmi ezik kutuya baktı. Geçen yıl bir lokum firmasına giden bir palette köşesi ezik on iki kutu çıkmış, firma bütün paleti geri göndermiş, nakliye iki kez ödenmiş, sözleşmedeki kalite kesintisi faturadan düşülmüştü. Atılan bir sağlam kutu ise teknisyenin elinde birkaç saniye kalıyor, çoğu zaman banda geri konuyordu.

Öğleden sonra üretim müdürü Tuncay Bey'le muhasebeden iki sayı istediler. Banttan atılan bir sağlam kutunun fabrikaya bedeli, karton, mürekkep ve teknisyenin dakikası birlikte, yaklaşık iki liraydı. Müşteriye ulaşan bir ezik kutunun bedeli, iade, ikinci nakliye ve kesinti kutu başına bölününce, yaklaşık yüz elli lira.

Tuncay Bey sayıları raporun kenarına yazdı ve bir süre baktı. "Tedarikçi her hatayı bir saymış," dedi. "Biz hangisini daha az istediğimizi ona hiç söyledik mi?"

Murat Bey, ikinci kameranın sözleşmesini çekmeceden çıkardı. Ödemeyi ilk yüz kutudaki yanlış ret sayısına bağlamıştı. Kaçan ezik kutu için sözleşmede tek satır yoktu.

Tek fikir

Bir model öğrenirken yanlışlarını tek bir sayıya çeviren bir kuralla ölçülür ve o sayıyı küçültmeye çalışır. Hangi yanlışın ne kadar ağır sayılacağını o kural belirler; kuralı seçmek bir değer kararıdır.

Nasıl çalışır

Denetimli öğrenmede her eğitim örneğinin yanında, 3.1'de etiket dediğimiz doğru cevap durur ve sistem tahminini onunla karşılaştırır. Karşılaştırmanın sonucu "yanlış" ya da "doğru" diye kalırsa öğrenme ilerleyemez; sistemin bir tahminin ötekinden ne kadar daha kötü olduğunu bilmesi gerekir. Bunun için her yanlışa bir sayı verilir.

Kuralın kendisi elle yazılır. Model bu kuralı bulmaz, ona verilir. Aynı veriyle, aynı modelle, farklı bir kayıp kuralı seçildiğinde başka bir sonuç çıkar. Bunu Murat Bey'in eski ret çizelgesiyle görebiliriz.

3.4'te Tuncay Bey'in toplantısına giden on günlük çizelgeyi hatırlayalım: otuz sekiz, kırk bir, otuz beş, kırk dört, otuz dokuz, iki yüz on iki, kırk, otuz yedi, kırk üç, otuz altı. Diyelim ki fabrika ertesi günün ret sayısını önceden tahmin etmek istiyor, kalite odasına kaç teknisyen konacağını buna göre ayarlayacak. Elimizde hiçbir girdi yok; model yalnız tek bir sayı söyleyebilir. Hangi sayıyı söylemeli?

İlk kural yanlışın büyüklüğünü olduğu gibi almaktır. Tahmin kırk, gerçek otuz beşse yanlış beştir; gerçek iki yüz on ikiyse yüz yetmiş iki. On günün yanlışları toplanır, on güne bölünür. Buna ortalama mutlak hata denir. İkinci bir kural yanlışı önce kendisiyle çarpar: beşlik yanlış yirmi beş, yüz yetmiş ikilik yanlış yirmi dokuz bin beş yüz seksen dört olur.

İki kuralı aynı çizelgede deneyelim.

Mutlak hata otuz dokuz buçuğu seçer: dokuz sıradan güne yakın durmak, perşembe gününü ıskalamaktan daha az kaybettirir. Kare hata ise elli altı buçuğu seçer, çünkü perşembenin yüz yetmiş ikilik yanlışının karesi öteki dokuz günün hepsini ezer; tahmini o güne doğru çekmek kareli toplamı küçültür. 3.4'teki ayrım burada geri geliyor. Ortanca ile ortalama yalnız bir sütunu özetlemenin iki yolu değildir; iki ayrı kayıp kuralının en iyi cevaplarıdır.

Aynı sonuç girdiler işin içine girdiğinde de geçerlidir. Kare hatayla eğitilen bir model, her girdi için o girdiye sahip örneklerin ortalamasını tahmin etmeye çalışır; mutlak hatayla eğitilen model ise ortancalarını.

Murat Bey'in raporuna dönelim. Kameranın işi bir sayı tahmin etmek değil, bir karar vermektir: at ya da geçir. Burada en yaygın kural her yanlış kararı bir birim saymaktır. Hastie ve arkadaşlarının kitabı sınıflandırma kaybını bir tablo olarak yazar: satırlarda gerçek sınıf, sütunlarda verilen karar, köşegende doğru kararlar ve sıfır kayıp. Her hücreye o yanlışın bedeli yazılır. Tedarikçinin raporu bu tablonun iki boş hücresine aynı sayıyı, biri, koymuştu.

Fabrikanın iki sayısını tabloya yazınca rapor tersine döner. Birinci ayarda kırk sağlam kutu iki liradan seksen lira, yirmi ezik kutu yüz elli liradan üç bin lira eder; toplam üç bin seksen lira. İkinci ayarda doksan sağlam kutu yüz seksen lira, beş ezik kutu yedi yüz elli lira eder; toplam dokuz yüz otuz lira. Daha çok hata yapan ayar fabrikaya üçte birden daha az bedel çıkarır.

Hangi oranda ayarların yer değiştirdiği de hesaplanabilir. Birinci ayardan ikinciye geçmek elli sağlam kutuyu daha attırır ve on beş ezik kutuyu daha yakalatır. Ezik bir kutunun bedeli sağlam bir kutunun üç virgül üç katından büyükse ikinci ayar kazanır. Fabrikada oran yetmiş beşe bir. Tedarikçinin önerisi yalnız oranın üç virgül üçün altında kaldığı bir fabrikada doğru olurdu.

Sahada

Nerede yanılır

Bir model, kendisine verilen kayıp fonksiyonunu küçültmekte çoğu zaman çok başarılıdır. Sorun, o fonksiyonun gerçekten önemsenen şeyi ölçmediği yerde başlar. Tedarikçinin kamerası toplam hata sayısını en aza indirmişti ve bu işi iyi yapmıştı; yalnız fabrikanın kaybettiği şey hata sayısı değil paraydı. Kayıp düşük, sonuç kötü olabilir.

Kare hatanın kendi zayıflığı aykırı değerlerdedir. Eğitim verisinde kayışın gevşediği perşembe gibi tek bir yanlış kayıt varsa, kare hatayla eğitilen model ona doğru eğilir, çünkü o tek satırın yanlışı karesiyle büyür. 3.4'te Anscombe'un öğüdüyle kurduğumuz sıra burada da işler: önce kayıt denetlenir. Aykırı değer gerçekse ve önemliyse, karşılık hesabında olduğu gibi, kare hata doğru seçim olabilir; bir arıza izinden geliyorsa model arızayı öğrenir.

Asimetrik kaybın yanılması başka yerdedir: bedeller tahmindir ve zamanla değişir. Yüz elli liralık ezik kutu bedeli bir müşterinin sözleşmesinden çıkmıştı; yeni bir müşteri iade yerine yalnız fiyat indirimi isterse oran düşer, büyük bir zincir market bütün tedariği keserse oran kat kat büyür. Bedeller bir kez yazılıp unutulursa model eski bir fabrikanın değerleriyle karar vermeye devam eder.

Bir de kimin bedeli sorusu var. Murat Bey'in tablosunda sağlam kutuyu atmak iki liraydı, ama o kutuyu her seferinde banda geri koyan teknisyenin yorgunluğu tabloda yoktu. Seda Hanım'ın sınamasında boşuna sevk edilen hastanın yolu, yaşlı bir hasta için iki otobüs ve bir gün demekti. Hangi bedelin sayıya girdiği, hangisinin dışarıda kaldığı, raporun tek bir satırında görünmez.

Uygulama

Bu çalışmada iki kaybı kâğıt kalemle hesaplayacak, sonra bir karar tablosunu kendi bedellerinle yeniden fiyatlayacaksın. Hesap makinesi ya da hesap tablosu yeter.

1. Şu beş sayıyı al: on, on iki, on bir, on üç, elli dört. Bunlar bir bandın beş günlük ret sayıları olabilir ya da bir dükkânın beş günlük iade sayısı.
2. Listenin ortalamasını ve ortancasını hesapla.
3. Tahmin olarak önce ortalamayı kullan. Her gün için tahminle gerçek değer arasındaki farkı yaz. Farkların işaretsiz hallerini topla ve beşe böl; bu ortalama mutlak hatadır. Sonra her farkın karesini al, topla ve beşe böl; bu ortalama kare hatadır.
4. Aynı iki hesabı tahmin olarak ortancayı kullanarak tekrarla.
5. Hangi kayıp hangi tahmini daha iyi buldu? Elli dördün yanlışının iki hesapta ne kadar yer kapladığını yaz.
6. Sık verdiğin, iki yöne yanılabilen bir karar seç: bir şeyi gereksiz yere yapmak ile gerekirken yapmamak. Bir ilacı eczaneden fazladan almak ile bitince eczanenin kapalı olması, bir toplantıya erken gitmek ile geç kalmak gibi.
7. İki yanlışın sana bedelini aynı birimle yaz: lira, dakika ya da bir puan cetveli. Sonra Murat Bey'in iki ayarını, kırka yirmi ve doksana beş, senin bedellerinle yeniden hesapla. Senin oranında hangi ayar kazanıyor?

Kendi hesabını şununla karşılaştırabilirsin. Ortalama yirmi, ortanca on iki. Ortalamayı tahmin edince mutlak hata on üç virgül altı, kare hata iki yüz doksan çıkar; ortancayı tahmin edince mutlak hata dokuz virgül iki, kare hata üç yüz elli dört. Mutlak hata ortancayı, kare hata ortalamayı seçer. Ortanca tahminde kare hatanın üç yüz elli dördünün üç yüz elli iki virgül sekizi tek başına elli dört gününden gelir. Yedinci adımda, iki yanlışın bedeli arasındaki oran üç virgül üçü geçtiği anda ikinci ayar öne geçer.

Defter: "Bedel tablosu" adlı sayfaya beş günlük listenin dört sonucunu ve kendi kararının iki hücreli bedel tablosunu yaz; altına bu bedelleri kimden ya da hangi kayıttan öğrendiğini ve bir yıl sonra hangisinin değişebileceğini ekle.

Hata köşesi

Sorumluluk

Kaybın içine hangi bedelin gireceğine modeli satan firma değil, yanlışın sonucunu taşıyan kurum karar verir. Murat Bey'in fabrikasında o karar kalite müdürü, üretim müdürü ve muhasebenin birlikte imzaladığı bir bedel tablosudur; tedarikçi bu tabloya göre ayar önerir ve sınama raporunu yalnız hata sayısıyla değil bedelle de verir. Sözleşmenin ödeme maddesi de aynı tabloya bağlanmalıdır, yoksa tedarikçi ödendiği yanlışı küçültür. Bedeller her yeni müşteri sözleşmesinde ve yılda en az bir kez doğrulanır. Sorumlu olan, tabloda görünmeyen bedeli de yazar: bir teknisyenin yükü, bir hastanın yolu, susuz kalan bir mahalle.

Kapanış

1. Kayıp fonksiyonu bir modelin yanlışlarını tek bir sayıya çevirir; öğrenme o sayıyı küçültmektir ve sayının nasıl hesaplanacağı modele dışarıdan verilir.
2. Kare hata büyük yanlışları ağır cezalandırır ve tahmini ortalamaya, mutlak hata ise ortancaya götürür; aynı veride iki kural iki ayrı cevap seçer.
3. Yanlışların bedeli eşit değilse her yanlışı bir saymak da bir seçimdir; bedel tablosunu sonucu taşıyan kurum yazar, düzenli olarak doğrular ve sözleşmeye bağlar.

Üç soru

1. On günlük ret çizelgesinde kare hata neden elli altı buçuğu, mutlak hata neden otuz dokuz ile kırk arasını seçti?
2. Tedarikçinin birinci ayarı toplam hata sayısında daha iyiydi. Hangi koşulda bu öneri fabrika için de doğru olurdu?
3. Elif hasar modelinin neden iki ayrı sürümünü iki ayrı soruya ayırdı?

Yanıtlar

1. Kare hata her yanlışı kendisiyle çarptığı için iki yüz on ikilik perşembenin yanlışı öteki dokuz günün toplamından çok daha büyük yer kaplar; tahmini o güne doğru çekmek kareli toplamı küçültür ve en küçük nokta ortalamadır. Mutlak hatada her gün yanlışı kadar sayılır; tahmin ortancadan uzaklaştıkça daha fazla günün yanlışı büyür, bu yüzden en küçük kayıp ortada kalır.
2. Bir ezik kutunun bedeli bir sağlam kutunun bedelinin üç virgül üç katından az olsaydı. Birinciden ikinci ayara geçmek elli sağlam kutuyu daha attırıp on beş ezik kutuyu daha yakalattığı için eşik ellinin on beşe oranıdır. Fabrikada oran yetmiş beşe bir olduğundan ikinci ayar çok daha ucuzdu.
3. Karşılık bütün dosyaların toplamıyla hesaplanır ve ağır dosyalar da ödenecektir; bu soruya ortalamayı hedefleyen kare hatalı model uyar. Bir müşteriye dosyasının aşağı yukarı ne kadar tutacağını söylemek ise tipik değeri ister; ortancayı hedefleyen mutlak hatalı model buna daha yakındır. Soru değişince "iyi" tahminin tanımı da değişir.

Sonraki derse köprü

Bu derste kaybı birkaç aday tahmin için elle hesapladık ve en küçüğünü gözle seçtik. Tek bir sayı söyleyen bir model için bu yeter; ama milyonlarca ayarı olan bir modelde her olasılığı tek tek denemek imkânsızdır. Ders 4.6, Gradyan inişi, kaybı bir yüzey gibi düşünüp hangi yönün aşağı indirdiğini bularak adım adım ilerlemeyi ve o adımın ne kadar büyük atılacağını konu ediyor.