Erken durdurma ve bırakma

Açılış

Taner Bey'in ekibinden gelen dosyada bu kez iki eğri vardı. Dr. Seda Hanım bir süre önce, böbrek riski aracının teknik ekini okuduktan sonra, eğitimde hiç kullanılmamış hastalarla ölçülmüş hatanın dönem dönem nasıl değiştiğini istemişti. Satıcı bin sekiz yüz eğitim hastasının yanına aynı nefroloji polikliniğinden dört yüz elli hastayı ayırmıştı; ikinci eğri onlardandı.

Eğitim hastalarındaki kayıp iki yüz dönem boyunca hiç durmadan inmişti; sıfır virgül altmış ikiden başlayıp sıfır virgül sıfır sekize kadar. Ayrılmış hastalardaki kayıp ise kırkıncı dönem civarında sıfır virgül kırk beşte dibe vurmuş, sonra yavaş yavaş tırmanmış, iki yüzüncü dönemde sıfır virgül yetmiş bire çıkmıştı.

Sayfanın altında küçük harflerle iki satır duruyordu: "Teslim edilen model: dönem iki yüz. Bırakma: sıfır virgül beş."

Dr. Necati Bey eğriyi parmağıyla izledi. "Kırkıncı dönemde en iyi hâlindeymiş. Bize iki yüzüncüyü vermişler."

Seda Hanım satıcıyı aradı. Taner Bey sakindi: "Bırakma kullandık hocam, ağ ezberlemez."

Seda Hanım telefonu kapatınca eğriye yeniden baktı. Aynı eğitimden iki yüz ayrı ağ çıkmıştı ve kutuya bunlardan biri konmuştu. Hangisinin konacağına kim, neye bakarak karar veriyordu? Bırakma denen şey bu eğriyi neden düzeltmemişti?

Tek fikir

Derin bir ağ uzun eğitildikçe örneklerini ezberler. Erken durdurma, ayrılmış verideki hata yükselmeye başlayınca en iyi ağırlıklara döner; bırakma, her adımda birimlerin bir bölümünü rastgele susturarak ağın tek bir birim düzenine yaslanmasını zorlaştırır.

Nasıl çalışır

Ders 6.3'te aşırı öğrenmeyi bir U eğrisiyle tanımıştık; karmaşıklık düğmelerinin listesi eğitimin durdurulduğu anla bitiyordu. Aynı derste Geman ve arkadaşlarının dört ara birimli ağında bile en düşük toplam hatanın eğitim yaklaşık yüz yinelemede kesildiğinde elde edildiğini görmüştük. Ders 6.4'te ikinci bir yol açmıştık: kayba bir ceza ekleyip katsayıları küçük tutmak. Bu ders, derin ağlarda en çok kullanılan iki aracı ekliyor.

Önce zaman düğmesi. Gradyan inişi her dönemde ağırlıkları eğitim kaybını düşürecek yöne iter. Başta ağırlıklar küçüktür ve ağ kaba bir fonksiyondur; adımlar biriktikçe ağırlıklar büyür, ağ kıvrılır ve sonunda eğitim örneklerinin rastlantısal ayrıntılarına da uymaya başlar. Dönem sayısı bu yüzden, ağın fiilen ne kadar esnek olacağını belirleyen bir ayara dönüşür.

Tanımın son yarısı sık atlanır. Durma kararı hatanın yükseldiği anda verilir; ama teslim edilecek ağ, yükselişten önceki en iyi ağdır. Bunun için eğitim, en iyi noktada ağırlıkların bir kopyasını saklar.

İkinci soru, "artık iyileşmiyor" demenin ne zaman doğru olduğudur. Ayrılmış verideki hata pürüzsüz inmez; bir kontrolde biraz yükselip sonrakinde yeniden düşebilir.

Seda Hanım'ın elindeki eğrinin ilk seksen dönemine bakalım. Satıcı her beş dönemde bir ölçüm almış.

Sabır iki olsun. Yirminci dönemde kayıp sıfır virgül kırk yedi, o ana kadarki en iyi değer. Yirmi beşte ve otuzda iyileşme yok; iki kontrol doldu, eğitim otuzuncu dönemde durur ve yirminci dönemin ağırlıkları alınır. Sabır dört olsun. Otuz beşte kayıp sıfır virgül kırk altıya, kırkta sıfır virgül kırk beşe iner ve sayaç sıfırlanır. Kırk beş, elli, elli beş ve altmışta iyileşme gelmez; eğitim altmışıncı dönemde durur, kırkıncı dönemin ağırlıkları alınır. Daha sabırlı kural otuz ek dönem harcamış, iki katı süre çalışmış ve biraz daha iyi bir ağ bulmuştur.

Bu ödünleşimi ölçen kurucu bir çalışma var.

Erken durdurma ağı küçültmez; büyük ağı, küçük bir ağın ulaşabileceği bir noktada yakalar. Caruana, Lawrence ve Giles'ın iki bin yılında NIPS konferansında sunduğu çalışmanın özeti tam bunu söyler: büyük ağ eğitimin başında küçük ağların geçtiği aşamalardan geçer ve erken durdurma onu küçük bir ağ kadar iyi genellediği yerde durdurabilir. Çalışmanın yalnız özeti okundu.

Şimdi ikinci araç. Ders 5.4'te birçok ağacın ortalamasının tek ağaçtan daha kararlı olduğunu görmüştük. Sinir ağlarında aynı fikir pahalıdır: on büyük ağı eğitip her hastada hepsini çalıştırmak gerekir.

Dört ara birimli küçük bir katman düşün. Birimlerin çıktıları iki, sıfır, bir ve üç; hepsi bir sonraki birime sıfır virgül beşlik ağırlıkla bağlı. Hiçbir birim çıkarılmazsa sonraki birime giden toplam üçtür. Her birim yarı olasılıkla kalırsa hangi birimlerin kaldığına göre on altı ayrı alt ağ ortaya çıkar; toplam sıfırdan üçe kadar değişir. On altı alt ağın ortalaması bir virgül beştir, yani tam ağın yarısı. Kullanımda ağırlıkları kalma olasılığıyla, burada yarıyla çarpınca tek bir ağ bu ortalamayı verir. Birim sayısı bin yirmi dört olunca alt ağ sayısı ikinin bin yirmi dördüncü kuvveti olur, üç yüz dokuz basamaklı bir sayı. Eğitim bunların her birini nadiren, çoğunu hiç görmez; ama hepsi aynı ağırlıkları paylaşır.

Yazarlar bir sayıyı bırakma olasılığı olarak değil, kalma olasılığı olarak verir: ara katmanlarda birimin kalma olasılığı sıfır virgül beş, girdi katmanında sıfır virgül sekiz. Bu ayrıntı Sahada bölümünde birinin başına iş açacak.

Sahada

Nerede yanılır

Erken durdurma, ayrılmış kümeyi bir ölçme aracı olmaktan çıkarıp bir seçim aracına çevirir. Taner Bey'in ekibi dört yüz elli hastaya bakarak durma noktasını seçerse, aynı dört yüz elli hastadaki başarı artık bir tahmin değildir; Ders 6.2'de test kümesinin seçime karışmaması gerektiğini bu yüzden ayırmıştık. Çok sayıda kontrol arasından en iyisini seçmek, rastlantıyla iyi görünen bir dönemi seçme şansı da taşır. Seda Hanım'ın istemesi gereken ikinci kümedir: eğitimde de durma kararında da kullanılmamış hastalar.

Ayrılmış kümenin kendisi de bir varsayımdır. Böbrek aracının dört yüz elli hastası aynı üniversite polikliniğinden geldi. Erken durdurma ağı o polikliniğin hastalarında en iyi genellediği yerde yakalar; aile hekimine gelen daha erken evre hastalar için en iyi nokta başka bir dönemde olabilir. Ders 6.6'daki kayma burada da geçerlidir ve hiçbir durma kuralı onu ortadan kaldırmaz.

Bırakmanın tuzağı adından gelir. "Bırakma kullandık, ağ ezberlemez" cümlesi, bir aracın varlığını sonucun kanıtı yerine koyar. Açılıştaki eğri tam bunu çürütür: bırakma sıfır virgül beşle eğitilmiş ağ kırkıncı dönemden sonra yine aşırı öğrenmiştir. Bırakma ezberi yavaşlatır; durdurmaz. Makalenin kendi deneyinde çok küçük veri setlerinde hiç kazanç getirmemişti.

Son tuzak sessizdir. Bırakma yalnız eğitimde çalışmalıdır. Kullanım modu açılmadan çalıştırılan bir ağ her seferinde başka bir alt ağla cevap verir ve aynı hastaya iki çağrıda iki farklı risk yazabilir. Hata mesajı çıkmaz; yalnız cevaplar oynar.

Uygulama

1. A sütununa beşten seksene beşer beşer dönemleri, B sütununa dersin tablosundaki ayrılmış kayıpları yaz: sıfır virgül altmış iki, elli beş, elli, kırk yedi, kırk sekiz, kırk dokuz, kırk altı, kırk beş, kırk altı, kırk yedi, kırk yedi, kırk sekiz, elli, elli iki, elli beş ve elli sekiz.
2. C sütununa o satıra kadarki en küçük kaybı yaz. D sütununa bir sayaç koy: B, bir önceki satırdaki en iyi değerden küçükse sıfır, değilse bir önceki sayaç artı bir.
3. Sayacın ilk kez ikiye ulaştığı dönemi ve o anda C sütunundaki değerin hangi dönemde görüldüğünü bul. Aynısını dört için yap.
4. İki kuralın eğitimi kaç dönem çalıştırdığını ve teslim edeceği ağın kaybını yan yana yaz; ek kazancın kaç ek dönemle alındığını bir cümleyle söyle.
5. Yeni bir sayfada dört sütun aç; her satır dört birimin kalıp kalmadığını bir ya da sıfırla göstersin. On altı satırın hepsini yaz: dördü de sıfırdan dördü de bire kadar.
6. Birimlerin çıktıları iki, sıfır, bir ve üç, ağırlıklar sıfır virgül beş. Her satırda kalan birimlerin çıktısını ağırlıkla çarpıp topla. On altı toplamın ortalamasını al ve tam ağın toplamının yarısıyla karşılaştır.

Sabır ikide eğitim otuzuncu dönemde durur, yirminci dönemin ağırlıkları seçilir ve kayıp sıfır virgül kırk yedidir. Sabır dörtte eğitim altmışıncı dönemde durur, kırkıncı dönem seçilir ve kayıp sıfır virgül kırk beştir; otuz ek dönem kayıpta sıfır virgül sıfır ikilik bir iyileşme getirmiştir. On altı toplam sıfırdan üçe uzanır, ikişer kez sıfır, yarım, bir, iki, iki buçuk ve üç, dört kez bir buçuk; ortalamaları bir virgül beş, tam ağın üçünün yarısı.

Defter: Bu sayfaya "Durma kaydı" adını ver. Sabır iki ve sabır dördün durduğu ve seçtiği dönemleri, on altı alt ağın ortalamasını yaz. Altına bir satıcıdan ya da bir ekip arkadaşından bir eğitim raporu aldığında hangi dönemin teslim edildiğini, durma kuralını ve bırakma sayısının neyin olasılığı olduğunu soran üç soruyu kendi cümlelerinle not et.

Hata köşesi

Sorumluluk

Hangi dönemin ağının teslim edileceği bir karardır ve açılıştaki dosyada bu karar sayfanın altındaki küçük bir satırda verilmişti. Seda Hanım'ın satın alma şartına bu yüzden yeni maddeler girer: durma kuralı ve sabır, durmanın hangi hastalara bakılarak seçildiği, teslim edilen dönem ve bırakma sayısının kalma mı çıkarma mı olasılığı olduğu. Ayarları seçmek Taner Bey'in ekibinin sorumluluğudur. Başarı sayısını durma kararına hiç karışmamış hastalarda ölçtürmek ve aracı merkezin kendi hastalarında doğrulamak Seda Hanım'a düşer. Yanlış dönem seçilirse bedeli, riski fazla ya da eksik okunan hastalar öder.

Kapanış

1. Dönem sayısı derin ağın esnekliğini belirleyen bir ayardır; erken durdurma ayrılmış hata iyileşmeyi bırakınca eğitimi keser ve saklanan en iyi ağırlıklara döner, sabır gürültülü eğride ne kadar bekleneceğini belirler.
2. Bırakma her adımda birimlerin bir bölümünü rastgele susturur, ağırlıklarını paylaşan çok sayıda alt ağı birlikte eğitir ve kullanımda ölçeklenmiş tek ağla onların ortalamasına yaklaşır; ezberi yavaşlatır ama durdurmaz.
3. Durma noktasını seçen veri artık başarıyı ölçemez; teslim edilen dönem, durma kuralı ve bırakma sayısının anlamı rapora yazılmalı ve başarı seçime karışmamış veride doğrulanmalıdır.

Üç soru

1. Necati Bey'in itirazına dön: kırkıncı dönemdeki ağ ile iki yüzüncü dönemdeki ağ aynı eğitimden geliyorsa, satıcıdan neden ayrıca hangi dönemin teslim edildiğini sormak gerekiyor?
2. Dersin eğrisinde sabır iki neden yirminci dönemde kaldı, sabır dört neden kırkıncı dönemi bulabildi?
3. Melis'in eğitim kaybı neden ayrılmış kayıptan yüksek çıktı ve bu bir hata mıydı?

Yanıtlar

1. Eğitim her dönemde başka ağırlıklar üretir ve bunların genellemesi farklıdır. Eğride ayrılmış kayıp kırkıncı dönemde sıfır virgül kırk beş, iki yüzüncüde sıfır virgül yetmiş birdir. Teslim edilen dönem yazılmazsa, en iyi noktada durulup durulmadığı ve başarı sayısının hangi ağa ait olduğu bilinemez.
2. Yirminci dönemden sonra kayıp iki kontrol boyunca yükseldi; sabır iki bu iki kontrolde doldu ve eğitim otuzuncu dönemde durdu. Sabır dört otuz beşinci kontrole kadar bekledi, kayıp orada yeniden indi, sayaç sıfırlandı ve kırkıncı dönemdeki daha düşük çukura ulaşıldı. Bedeli otuz ek dönemdir.
3. Eğitim kaybı her adımda birimlerin yarısı susturulmuş alt ağlardan ölçülüyordu, ayrılmış kayıp ise bütün birimleri çalışan ölçeklenmiş ağdan. İki sayı farklı ağların sayısıydı; bir hata değildi. Eğitim dosyaları bırakmasız ağla ölçülünce eğitim kaybı yeniden daha düşük çıktı.

Sonraki derse köprü

Bu dersin araçları veri sabitken çalıştı: bin sekiz yüz hasta vardı ve iş, büyük bir ağın onları ezberlemesini frenlemekti. Ders 9.5, Ölçek yasaları, soruyu öbür yönden soruyor: veri, parametre sayısı ve harcanan hesap birlikte büyüdükçe kayıp nasıl düşüyor ve bu düşüş önceden kestirilebilecek bir düzen izliyor mu?