Aşırı ve eksik öğrenme

Açılış

Nisanın ilk salısı Tuncay Bey, Murat Bey'in masasına iki sayfa koydu. İkisi de Aynur Hanım'ın dayanım defterinden kurulmuş modellerdi: on iki tasarım, her tasarımdan beş kutu, altmış ezme ölçümü.

Birinci sayfadaki model, bir veri aracının en esnek ayarıyla kurulmuştu. Karton kalınlığını, kutu yüksekliğini ve oluk tipini almakla kalmıyor, bunların karelerini, küplerini ve birbirleriyle çarpımlarını da hesaba katıyordu. Defterdeki on iki tasarımın her birinde, beş kutunun ortalamasını bir kilodan az farkla tutturuyordu. İkinci sayfadaki model ise yalnız kalınlığa bakıyordu ve defterin kendi tasarımlarında bile onlarca kilo yanılıyordu.

"Birincisini kullanalım," dedi Tuncay Bey. "Defteri neredeyse ezbere biliyor."

Aynur Hanım o hafta bir zeytinyağı üreticisinin yeni kolisini ezmişti: C oluklu, üç virgül dokuz milimetre karton, otuz santim yükseklik. Defterde bu tasarım yoktu. Beş kutunun ortalaması iki yüz kırk üç kilo çıkmıştı. Murat Bey iki modele aynı koliyi sordu. Esnek model üç yüz kırk bir kilo dedi. Yalnız kalınlığa bakan model iki yüz on iki dedi. Marttaki üç girdili denklemi de açtı; yuvarlanmış katsayılarla iki yüz elli kilo kadar ediyordu.

Aynur Hanım bir şey daha gösterdi. Aynı tasarımın beş kutusu bile kendi aralarında on beş, yirmi kilo ayrılıyordu. Defteri bir kilo hassasiyetle bilen model, kutuların bilmediği bir şeyi biliyor gibiydi.

Tuncay Bey sayfaları masada bıraktı. "Defterde en iyi olan, yeni kolide en kötü çıktı," dedi. "O zaman neye bakarak seçeceğiz?"

Tek fikir

Model esnekleştikçe eğitim hatası hep düşer, yeni veride hata ise önce düşer sonra yükselir. Fazla kaba model düzeni kaçırır, fazla esnek model rastlantıyı öğrenir; karmaşıklık, eğitimde kullanılmamış verideki hataya bakılarak seçilir.

Nasıl çalışır

Bu ders, aynı veriye kurulan modellerin neden bazen eğitimde parlayıp dışarıda çöktüğünü, bazen de her yerde vasat kaldığını ayırıyor.

Melis'in 4.1'deki beş kapanmış dosyasına dönelim: bir parçada otuz, iki parçada kırk yedi, üç parçada altmış sekiz, dört parçada seksen üç, beş parçada yüz iki bin lira. Bu beş dosyaya dört ayrı aile uyduralım, her birini en küçük kareler yöntemiyle. En sadesi sıfırıncı derece, yani parça sayısına hiç bakmayan sabit bir sayı; o sayı beş tutarın ortalaması olan altmış altı bin çıkar. Sonra birinci derece, 4.7'de bulduğumuz on sekiz çarpı parça artı on iki. Sonra ikinci derece, hafifçe bükülebilen bir eğri. En sonda dördüncü derece; 4.1'de gördüğümüz gibi beş noktanın hepsinden tam geçen eğri.

Ardından bu ailelerin görmediği üç dosya gelsin. Bu dosyalar kurgusal ama makul: iki parçada kırk dokuz, dört parçada seksen beş, altı parçada yüz yirmi iki bin lira ödenmiş. Her model için iki ortalama kare hata hesaplayalım; biri eğitimdeki beş dosyada, öteki yeni üç dosyada. Birim bin liranın karesi.

İlk sütun yukarıdan aşağı hep küçülüyor. İkinci sütun önce dramatik biçimde küçülüyor, sonra yeniden büyüyor. Sabit sayı her dosyaya altmış altı bin diyor; altı parçalı dosyada elli altı bin eksik kalıyor. Dördüncü derece eğri eğitimde hiç yanılmıyor; aynı eğri altı parçalı dosyaya yüz elli beş bin diyor ve otuz üç bin fazla ayırıyor.

İki uçtaki başarısızlığın iki ayrı adı var.

Tuncay Bey'in getirdiği iki sayfa bu iki adın tam karşılığı. Yalnız kalınlığa bakan model oluk tipini hiç bilmiyor; defterin içinde de dışında da kaba. Esnek model defterin on iki tasarımına kusursuz oturuyor ama o tasarımlar arasında, hiçbir ölçümün düşmediği boşluklarda, kendine ait kıvrımlar çiziyor. Zeytinyağı kolisi tam böyle bir boşluğa düştü.

Peki bu iki başarısızlık neden aynı düğmenin iki ucunda duruyor? Cevap, hatanın parçalarına ayrılmasında.

Bir düşünce deneyi yapalım. Melis aynı türden beş dosyayı başka bir ay da toplasaydı, tutarlar biraz farklı olurdu. Diyelim ki üç parçalı dosya altmış sekiz yerine altmış altı bin tutuyor, öteki dört dosya aynı. Doğru bu değişikliği neredeyse fark etmez: altı parçalı bir dosya için tahmini yüz yirmiden yüz on dokuz virgül altıya iner. Dördüncü derece eğri ise iki bin liralık bu oynamaya bambaşka tepki verir. Altı parçada tahmini yüz elli beşten yüz otuz beşe, sekiz parçada beş yüz seksen üçten üç yüz otuz bire düşer. Sabit sayı da yalnız sıfır virgül dört kıpırdar, ama her ay aynı biçimde yanılmayı sürdürür.

Sabit sayının yanlılığı büyük, varyansı küçük. Dördüncü derece eğrinin yanlılığı küçük, varyansı büyük. Doğru, bu beş dosyada ikisinin arasında iyi bir yer buluyor. Açılıştaki beş kutunun kendi aralarında on beş, yirmi kilo ayrılması da üçüncü parçadır: aynı kalınlık, aynı yükseklik, aynı oluk, farklı kutu. Defteri bir kilo hassasiyetle bilen model, bu gürültüyü düzen sanmıştır.

Ayrımı sinir ağları üzerinde ayrıntılı işleyen bir makale var.

Karmaşıklığı seçmek böylece bir ölçme işine dönüşür. Eğitim hatası seçim yapamaz, çünkü her zaman en esnek modeli işaret eder. Seçim, 6.2'de eğitimden ayırdığımız doğrulama kümesinde yapılır: aday karmaşıklıklar tek tek eğitilir, her biri doğrulama kümesinde ölçülür, en düşük hatayı veren seçilir. Test kümesi bu seçime karışmaz; seçim bittikten sonra seçilen modelin gerçek başarısını söylemek için bir kez açılır. Karmaşıklığın düğmesi her ailede başka yerdedir: polinomda derece, ağaçta derinlik ya da 5.3'teki budama, komşu sayısı, ağda birim sayısı ya da eğitimin durdurulduğu an.

Sahada

Nerede yanılır

Yanlılık-varyans dengesi, eğitimde kullanılmamış verideki hatanın U biçiminde bir eğri çizdiğini söyler. Bu eğrinin dibini bulmak için kullanılan ölçümün kendisi yanılabilir. Melis'in örneğinde doğru ile ikinci derece eğri yeni üç dosyada iki ve üç virgül kırk dokuz hata verdi. Bu farka dayanarak doğrunun daha iyi olduğunu söylemek, üç dosyaya fazla anlam yüklemek olur; başka üç dosya sırayı çevirebilirdi. Doğrulama kümesi küçükse, adaylar arasındaki küçük farklar ölçümün kendi gürültüsüdür.

Yüz farklı ayarı aynı doğrulama dosyalarında sınayıp en iyisini seçen kişi, o dosyalara da bir parça uyum sağlamış olur. Seçilen ayarın doğrulama hatası iyimserdir. Test kümesinin seçime karışmaması bu yüzden bir tören değildir; seçimden sonra gelen dürüst ölçümün tek kaynağıdır.

Üçüncüsü, açılıştaki örnekte görünüyor. Dördüncü derece eğrinin en büyük hatası, eğitim dosyalarının dışında kalan altı parçalı dosyada çıktı. Aşırı öğrenme en çok verinin seyrek olduğu yerde, uçlarda ve boşluklarda kendini gösterir. Ortalama doğrulama hatası iyi görünürken model defterdekilere benzemeyen bir koli için saçmalayabilir; hatanın nerede biriktiğine ayrıca bakılmazsa ortalama onu saklar.

Son olarak U eğrisi bir doğa yasası değildir.

Pratik değişmiyor: karmaşıklığa yine eğitimde görülmemiş veride bakılır. Değişen, "parametre veriden çok, demek ki aşırı öğrenmiş" gibi kestirme bir hükmün ölçümün yerine geçemeyeceğidir.

Uygulama

Bu çalışmada iki modelin eğitim ve yeni dosya hatalarını kendin hesaplayacak, sonra bir dosyayı oynatıp hangi modelin ne kadar sarsıldığını göreceksin. Hesap makinesi yeter.

1. Beş eğitim dosyasını yaz: bir parça otuz, iki parça kırk yedi, üç parça altmış sekiz, dört parça seksen üç, beş parça yüz iki bin lira.
2. Sabit model her dosyaya beş tutarın ortalamasını söyler. Ortalamayı bul, her dosyada farkı hesapla, farkların karelerinin ortalamasını al.
3. Aynı işi on sekiz çarpı parça artı on iki doğrusu için yap.
4. Yeni üç dosyayı al: iki parça kırk dokuz, dört parça seksen beş, altı parça yüz yirmi iki bin. İki model için ortalama kare hatayı bu üç dosyada hesapla.
5. Dördüncü derece eğrinin bu üç dosyadaki tahminleri kırk yedi, seksen üç ve yüz elli beş bindir. Onun yeni dosya hatasını da hesapla.
6. Üç parçalı eğitim dosyasını altmış altıya çevir. Doğrunun yeni eğimini ve kesişimini 4.7'deki iki kısa hesapla bul, altı parçadaki tahminini yaz. Dördüncü derece eğrinin aynı değişiklikten sonra altı parçada yüz otuz beş dediğini bil ve iki oynamayı karşılaştır.
7. Dört modelden birini seç. Seçimini eğitim hatasına değil, yeni dosya hatasına ve altıncı adımdaki oynamaya dayanarak iki cümleyle gerekçelendir.

Hesap doğruysa sayılar şöyle çıkar. Sabit model altmış altı der; eğitim farkları eksi otuz altı, eksi on dokuz, iki, on yedi ve otuz altı, hata altı yüz kırk dokuz virgül iki. Yeni dosyalarda farklar on yedi, on dokuz ve elli altı, hata bin iki yüz altmış iki. Doğrunun eğitim farkları sıfır, eksi bir, iki, eksi bir ve sıfır, hatası bir virgül iki; yeni dosyalarda tahminler kırk sekiz, seksen dört ve yüz yirmi, farklar bir, bir ve iki, hata iki. Dördüncü derecenin yeni dosya farkları iki, iki ve otuz üç, hata üç yüz altmış beş virgül yedi. Altıncı adımda doğrunun eğimi on sekizde kalır, kesişimi on bir virgül altıya iner ve altı parçada tahmini yüz on dokuz virgül altı olur; dört yüz liralık oynamaya karşı eğri yirmi bin lira oynar.

Defter: "İki hata" sayfasına bu dersin tablosunu kopyala, altına bir modeli değerlendirirken kendine soracağın tek soruyu yaz: bu hata, modelin eğitimde gördüğü veride mi ölçüldü, görmediğinde mi?

Hata köşesi

Sorumluluk

Karmaşıklığı seçen modeli kuran kişidir, ama seçimin hangi veriyle yapıldığını yazmak da onun sorumluluğudur. Murat Bey'in kararı şu: müşteriye giden dayanım tahmininin yanında defterdeki uyum değil, defterde olmayan tasarımlarda ölçülmüş hata yazacak; Aynur Hanım her yeni tasarımın beş kutusunu ezdikçe tahminle karşılaştırıp bu hatayı güncelleyecek. Tuncay Bey'in "defteri ezbere biliyor" dediği model rapordan çıkarıldı. Yanlış seçimin bedelini, dayanımı fazla tahmin edilmiş koliyi istifleyen depo öder; yığın çöktüğünde ürün de işçinin güvenliği de risk altındadır. O yüzden seçilen modelin doğrulama ve test hataları, kimin hangi tarihte ölçtüğüyle birlikte kayda geçer.

Kapanış

1. Model esnekleştikçe eğitim hatası hiç artmaz; eğitimde kullanılmamış verideki hata ise önce düşer, sonra yükselir. Eğitim hatası tek başına model seçemez.
2. Eksik öğrenme kaba varsayımdan, yani yanlılıktan gelir ve daha çok veriyle kapanmaz; aşırı öğrenme veriye aşırı duyarlılıktan, yani varyanstan gelir ve en çok verinin seyrek olduğu yerde görünür.
3. Karmaşıklık doğrulama kümesinde seçilir, test kümesi seçimden sonra bir kez açılır; küçük doğrulama farkları ve çok sayıda aday, seçimi de yanıltabilir.

Üç soru

1. Tuncay Bey'in seçtiği esnek model defterde bir kilodan az yanılıyordu. Bu sayı, zeytinyağı kolisi hakkında neden bir şey söylemedi?
2. Melis'in üç parçalı dosyası iki bin lira değiştiğinde doğru dört yüz lira, dördüncü derece eğri yirmi bin lira oynadı. Bu fark yanlılık ve varyans açısından ne anlatıyor?
3. Yalnız kalınlığa bakan modelin hatası, defter on iki tasarımdan yüz yirmi tasarıma büyüse azalır mı?

Yanıtlar

1. Bir kiloluk uyum, modelin eğitim verisinde ölçülen hatasıdır ve esnek bir aile bu hatayı her zaman küçültebilir. Model o uyumu kutular arasındaki gürültüyü de öğrenerek sağlamıştı. Zeytinyağı kolisi böyle bir boşluğa düştü; yeni bir tasarımdaki başarıyı ancak defterde olmayan tasarımlarda ölçülen hata söyler.
2. Eğitim verisindeki küçük bir değişikliğe tahminin ne kadar tepki verdiği varyansın kendisidir. Doğru az parametreli ve kaba olduğu için oynamayı beş dosyaya yayıyor; dördüncü derece eğri her noktadan geçmek zorunda olduğu için oynamayı uçlarda büyütüyor. Doğrunun varyansı küçük, eğrinin varyansı büyük.
3. Pek azalmaz. Daha çok tasarım varyansı düşürür, kalınlık katsayısı daha kararlı hale gelir. Ama model oluk tipini görmediği için aynı kalınlıktaki B, C ve çift oluklu kutulara aynı tahmini vermeyi sürdürür; bu yanlılıktır ve veri arttıkça kapanmaz. Çaresi oluğu girdi olarak eklemektir.

Sonraki derse köprü

Bu derste karmaşıklığı aileyi değiştirerek ayarladık: dereceyi düşürdük, ağacın derinliğini kestik, komşu sayısını büyüttük. Başka bir yol daha var: esnek aileyi elde tutup modeli eğitim sırasında basit kalmaya zorlamak, karmaşıklığa bir bedel biçmek. Ders 6.4, Düzenlileştirme, aşırı öğrenmeye karşı bu ikinci yolu konu ediyor.