Düzenlileştirme

Açılış

Nisanın ortasında Aynur Hanım, rapordan çıkarılan esnek dayanım modelini yeniden kurup Murat Bey'e getirdi. Kare, küp ve çarpım terimlerinin hepsi yerindeydi; hiçbirini silmemişti. Değişen şey, modele verdiği talimattı.

"Eskisine yalnız defteri tutturmasını söylemiştik," dedi. "Bu sefer bir şart daha koydum. Her katsayı büyüdükçe modelin hesabına bir bedel yazılıyor. Defteri tutturmak için bir terimi şişirmesi gerekiyorsa, o şişkinliğin parasını ödeyecek."

Murat Bey sayfayı çevirdi. Aynur Hanım on iki tasarımın dokuzuyla eğitmiş, üç tasarımın on beş kutusunu bir kenara ayırmıştı. Bedelin ağırlığı için dört ayar denemişti: sıfır, küçük, orta ve büyük. Sıfırda model, nisan başında rapordan çıkarılan modelin ta kendisiydi; ayrılmış üç tasarımda onlarca kilo şaşıyordu. Büyük ayarda katsayılar o kadar ezilmişti ki model, kalınlık ne olursa olsun hemen hemen aynı sayıyı söylüyordu. Orta ayar, ayrılmış kutularda en az yanılanıydı.

Tuncay Bey omzunun üstünden baktı. "Bu bedeli kim belirliyor peki? Ayarı biraz daha büyütseydin, model kalınlıktan başka her şeyi unutacaktı. Biraz küçültseydin, defteri yine ezberleyecekti."

Aynur Hanım ayrılmış kutuların sayfasını gösterdi ama Tuncay Bey'in sorusu masada kaldı. Model esnek ailede duruyordu, yine de basitti. Bu basitliğin ölçüsünü kim, neye bakarak koyacaktı?

Tek fikir

Düzenlileştirme, eğitim sırasında küçültülen kayba katsayıların büyüklüğünü ölçen bir bedel ekler; böylece esnek model ancak veri gerçekten gerektiriyorsa büyük katsayı kullanır. Bedelin ağırlığı eğitimde değil, doğrulama kümesinde seçilir.

Nasıl çalışır

Karmaşıklığı denetlemenin ikinci yolu aileye değil, öğrenme hedefine dokunur.

4.5'te bir modelin eğitimde neyi küçülttüğünü kayıp fonksiyonu olarak adlandırmıştık. Düzenlileştirmede bu hedefe ikinci bir parça eklenir. Sözle şöyle: yeni hedef, tahmin hatalarının karelerinin toplamı artı lambda çarpı katsayıların büyüklüğüdür. Lambda, sıfır ya da pozitif bir ayardır. Sıfırsa eski en küçük kareler geri gelir. Büyüdükçe model, hatayı biraz büyütmek pahasına katsayıları küçük tutmayı tercih eder.

Büyüklüğün iki yaygın ölçüsü var. Kare cezada katsayıların kareleri toplanır; bu yönteme sırt regresyonu (ridge) denir. Mutlak değer cezasında katsayıların mutlak değerleri toplanır; buna kement (lasso) denir. Aradaki fark küçük bir ayrıntı gibi görünür ama sonucu değiştirir. Kare ceza, büyük bir katsayıyı çok sert, küçük bir katsayıyı neredeyse hiç cezalandırmaz; katsayıları sıfıra doğru çeker ama sıfıra indirmez. Mutlak değer cezası küçük katsayıdan da aynı oranda bedel ister; işe yaramayan bir katsayıyı tam sıfıra itmek en ucuz çözüm olur.

Sayılarla görmek için yine Melis'in beş dosyası yeter: bir parçadan beş parçaya otuz, kırk yedi, altmış sekiz, seksen üç ve yüz iki bin lira. 6.3'te bu beş dosyadan tam geçen dördüncü derece eğri, sekiz parçalı bir dosyaya beş yüz seksen üç bin lira demişti. Şimdi aynı aileyi tutup kare ceza ekleyelim.

Önce ölçekleme. Parça sayısından üç çıkarıp ikiye böldük; böylece beş dosyanın girdisi eksi birle artı bir arasına düştü. Bu sayının birinci, ikinci, üçüncü ve dördüncü kuvvetleri modelin dört terimi oldu. Hedef, beş dosyadaki kare hataların toplamı artı lambda çarpı dört katsayının karelerinin toplamı. Doğrulama için 6.3'teki üç yeni dosyayı kullandık; iki, dört ve altı parçalı bu dosyalarda ödenen tutarlar sırasıyla kırk dokuz, seksen beş ve yüz yirmi iki bindi.

Hatalar ortalama kare hata, birimi bin liranın karesi. Lambda büyüdükçe katsayıların toplam büyüklüğü düzenli olarak küçülüyor, eğitim hatası düzenli olarak artıyor. Doğrulama hatası ise önce düşüyor, sonra yeniden yükseliyor; en düşük yeri lambda sıfır virgül birde. Bu, 6.3'teki U eğrisinin aynısı, yalnız bu kez düğme derece değil, ceza.

Kement aynı beş dosyada başka bir şey yapıyor. Mutlak değer cezası lambda birdeyken dört katsayıdan üçü tam sıfır çıkıyor; geriye yalnız birinci kuvvetin katsayısı kalıyor, otuz beş virgül sekiz. Ölçeği geri çevirince bu, 4.7'de elle uydurduğumuz doğrunun hemen hemen aynısıdır; sekiz parçada yüz elli beş virgül beş bin der, doğrulama hatası iki virgül dörttür. Ceza, eğriyi kendi başına bir doğruya geri götürmüştür.

Her iki yöntemin de kurucu makalesi var.

Kısıt biçimi ile ceza biçimi aynı fikrin iki yazılışıdır: «büyüklük şu sınırı aşmasın» demek ile «büyüklüğe şu fiyatı biç» demek, her sınır için uygun bir fiyat bulunarak birbirine çevrilebilir.

Ölçeklemenin neden önce geldiği şimdi açık. Ceza katsayıya biçilir, katsayının büyüklüğü ise girdinin birimine bağlıdır. Melis'in ölçeksiz parça sayısıyla kurulan dördüncü derece eğride, dördüncü kuvvetin katsayısı yalnız sıfır virgül seksen üçtür; ama beş parçada çarpıldığı sayı altı yüz yirmi beştir. Ceza bu terimi neredeyse bedavaya bırakır, birinci kuvvetin katsayısını ise ağır cezalandırır. 4.3'te Melis temel bileşenleri hesaplamadan önce her sütunu kendi ortalamasına ve yayılımına göre ölçeklemişti; burada da aynı gerekçeyle her girdi önce ortak bir ölçeğe getirilir, yoksa lambda girdilere eşit davranmaz.

Sahada

Nerede yanılır

Ceza, ailenin içinden daha basit bir üye seçtirir; aileyi doğru aile yapmaz. Melis'in tablosundaki en iyi kare ceza, doğrulama dosyalarında seksen altı virgül birde kaldı. 6.3'teki düz doğru aynı dosyalarda iki hata veriyordu. Kare ceza dört terimin hepsini elde tuttuğu için, veride hiç olmayan bükülmeleri küçültüp yine de taşıdı. Kement daha iyi sonuç verdi, çünkü bu veride doğru cevap gerçekten tek terimliydi. Gerçek düzen pek çok küçük etkinin toplamıysa durum tersine dönebilir: kement bunların çoğunu sıfıra iter, kare ceza hepsini küçük ama yaşar halde tutar. Hangisinin uyacağını veri söyler, yöntemin adı söylemez.

İkinci tuzak ölçeklemede. Girdiler farklı birimlerdeyse ceza büyük sayılarla ölçülen girdiyi kayırır, küçük sayılarla ölçüleni ezer. Kalınlığı milimetreyle, yüksekliği santimetreyle giren bir modelde aynı lambda iki katsayıya bambaşka davranır; birimi değiştirmek seçilen modeli değiştirir. Ölçekleme bir ayrıntı sayılıp atlanırsa, model hiç uyarı vermeden yanlış terimi cezalandırır.

Üçüncüsü yorumda. Kementin sıfırladığı bir katsayı, o girdinin sonuçla ilgisiz olduğunu söylemez. Birbirine çok benzeyen iki girdiden ceza genellikle birini tutar, ötekini atar; hangisinin tutulduğu verideki küçük oynamalara bağlıdır. Seda Hanım'ın sorusu tam bu yanılgıyı yakaladı.

Son olarak lambdanın kendisi de bir seçimdir ve 6.3'teki bütün uyarılar ona da uyar. Çok sayıda lambda denenip doğrulama kümesinde en iyisi alınırsa, seçilen değerin doğrulama hatası iyimserdir. Test kümesi bu seçime karışmaz; derin ağlarda eğitimi uygun anda kesmek gibi başka düzenlileştirme araçları Modül 9'da gelecek.

Uygulama

Bu çalışmada cezalı kaybı elle hesaplayacak ve aynı iki modelden hangisinin kazandığının lambdaya göre nasıl değiştiğini göreceksin. Hesap makinesi yeter; bütün sayılar ölçekli girdiye göre verildi.

1. Dördüncü derece eğrinin beş eğitim dosyasındaki kare hataları toplamı sıfırdır. Ölçekli girdideki dört katsayısı otuz altı, eksi on beş virgül üç üç, sıfır ve on üç virgül üç üçtür.
2. Doğrunun 6.3'teki eğitim farkları sıfır, eksi bir, iki, eksi bir ve sıfırdı. Bunların karelerini topla. Ölçekli girdide doğrunun tek katsayısı otuz altıdır, öteki üçü sıfır.
3. İki model için katsayı karelerinin toplamını bul. Sonra mutlak değerlerinin toplamını bul.
4. Lambda sıfır virgül sıfır birken kare cezalı kaybı her iki model için hesapla: kare hatalar toplamı artı lambda çarpı katsayı kareleri toplamı.
5. Aynı işi lambda birken yap.
6. Mutlak değer cezasıyla, lambda birken, iki modelin kaybını hesapla: kare hatalar toplamı artı lambda çarpı mutlak değerler toplamı.
7. Üç durumun her birinde kazanan modeli yaz ve dördüncü adımdan beşinci adıma neden değiştiğini bir cümleyle açıkla.

Hesap doğruysa doğrunun kare hataları toplamı altı çıkar. Eğrinin katsayı kareleri toplamı yaklaşık bin yedi yüz dokuz, doğrununki bin iki yüz doksan altıdır; mutlak değer toplamları altmış dört virgül altı yedi ve otuz altıdır. Lambda sıfır virgül sıfır birde eğrinin kaybı on yedi virgül sıfır dokuz, doğrununki on sekiz virgül doksan altı; ceza o kadar hafif ki kusursuz uyum kazanır. Lambda birde eğri bin yedi yüz dokuz, doğru bin üç yüz iki öder; altı birimlik hata, dört yüz birimlik ceza farkının yanında ucuz kalır. Mutlak değer cezasında eğri altmış dört virgül altı yedi, doğru kırk iki öder. Bu iki model, cezalı hedefin gerçek en iyi çözümü değildir; amaç, lambdanın tercihi nasıl çevirdiğini görmek.

Defter: "Ceza" başlıklı sayfaya bu üç kaybı yaz ve altına, bir lambda değerini hangi veride seçeceğini ve o veriyi kimin ayırdığını not et.

Hata köşesi

Sorumluluk

Aynur Hanım'ın modeli müşteri raporuna girmeden önce Murat Bey bir karar yazdı: ceza türü, lambdanın denenen değerleri, seçilen değer ve seçimin hangi tasarımların kutularıyla yapıldığı model belgesinde kayıtlı olacak; ölçeklemenin ortalama ve yayılımı da. Tuncay Bey'in sorusunun cevabı buydu: bedeli Aynur Hanım belirlemiyor, ayrılmış kutular belirliyor; ama hangi kutuların ayrılacağına ve sonucun doğrulanmasına insan karar veriyor ve sorumluluk o kişide. Kementin attığı bir değişken bir hasta grubunu ilgilendiriyorsa, o grupta ayrıca sınama yapmak da modeli kullanan kurumun işidir.

Kapanış

1. Düzenlileştirme kayba katsayıların büyüklüğünü ölçen bir ceza terimi ekler; aileyi daraltmadan modeli daha basit çözümlere iter ve varyansı düşürmek için biraz yanlılığı kabul eder.
2. Kare ceza katsayıları küçültür ama sıfırlamaz; mutlak değer cezası bazılarını tam sıfıra iter ve seyrek model verir. Sıfırlanan katsayı, girdinin ilgisiz olduğunu kanıtlamaz.
3. Ceza katsayının birimine bağlı olduğu için girdiler önce ölçeklenir; lambda eğitimde değil doğrulama kümesinde seçilir, test kümesi seçime karışmaz.

Üç soru

1. Aynur Hanım'ın modelinde bütün terimler duruyor. Bu model, nisan başında rapordan çıkarılan modelden hangi anlamda daha basit?
2. Melis'in dördüncü derece eğrisine kare ceza eklenince doğrulama hatası seksen altıya indi ama doğrunun ikisine hiç yaklaşmadı. Kement ise iki virgül dörde indi. Bu farkı ne açıklıyor?
3. Kalınlığı milimetre yerine santimetreyle giren biri, aynı lambdayla neden farklı bir model bulabilir?

Yanıtlar

1. Terim sayısı aynı ama katsayılar küçük. Ceza, modelin defterdeki her kutuya uymak için tek tek terimleri şişirmesine izin vermiyor; katsayılar küçüldükçe model eğitim verisindeki küçük oynamalara daha az tepki veriyor. Basitlik terim sayısında değil, katsayıların toplam büyüklüğünde ve bunun getirdiği düşük varyanstadır.
2. Bu beş dosyadaki gerçek düzen tek terimliydi: parça sayısıyla düz bir artış. Kare ceza fazladan üç terimi küçültse de sıfırlamadı, eğri kalan bükülmeleri yine taşıdı. Mutlak değer cezası işe yaramayan üç katsayıyı tam sıfıra itti ve neredeyse doğrunun kendisini buldu. Düzen pek çok küçük etkiden oluşsaydı sıralama değişebilirdi.
3. Birim değişince katsayının sayısal büyüklüğü değişir: santimetreyle ölçülen kalınlığın katsayısı on kat büyür ve ceza ona yüz kat daha ağır biçilir. Aynı lambda bu kez kalınlığı fazla bastırır. Bunu önlemek için girdiler cezadan önce ortak bir ölçeğe getirilir.

Sonraki derse köprü

Bu derste lambdayı doğrulama kümesinde seçtik ve ölçekleme için ortalama ile yayılım hesapladık. İkisi de bir soruyu gizliyor: o sayılar hangi veriden geldi? Ders 6.5, Veri sızıntısı, test bilgisinin eğitime fark edilmeden karışmasını ve bunun ölçülen başarıyı nasıl şişirdiğini konu ediyor.