Eğitim, doğrulama, test

Açılış

Nisanın ilk pazartesisi Onur, belediye asistanının sınama tablosunu Hakan Bey'in ekranına yansıttı. Tablonun en sağında yedi sütun vardı, her biri yönergenin bir sürümü. İlk sütunun altında elli başvurudan kırk biri doğru yönlendirilmişti. Son sütunun altında kırk sekiz yazıyordu.

Mart boyunca Onur her akşam aynı işi yapmıştı. Asistanın yanlış yere gönderdiği başvuruları açıyor, nedenini bulmaya çalışıyor, yönergeye bir cümle ekliyor ya da bir örneği değiştiriyordu. "Kaldırım" geçen ve Fen İşleri'ne gitmesi gereken bir başvuru Park ve Bahçeler'e gidince yönergeye kaldırımla ilgili bir satır girmişti. Gece müziği şikâyeti yanlış yere düşünce örneklerden biri değişmişti. Her düzeltmeden sonra aynı elli başvuruyu yeniden çalıştırıyor, sayı biraz daha yükseliyordu.

Hakan Bey tabloya uzun uzun baktı. Sonra sordu: "Bu elli başvurunun hangisinde asistan hâlâ yanılıyor?"

"İki tanesinde," dedi Onur. "Birini bu akşam düzeltirim."

"Ne kadar zamandır bu elliye bakıyorsun?"

"Bir aydır."

Hakan Bey sandalyesinde geriye yaslandı. "O zaman bu elli artık sınav değil, ders kitabı oldu. Sen asistana bu elli başvurunun cevabını öğrettin."

Burcu o hafta, Onur'un hiç görmediği elli yeni başvuruyu şubat ve mart arşivinden etiketledi. Aynı son yönergeyle çalıştırdılar. Elli başvurunun kırk ikisi doğru yere gitti. Tablodaki kırk sekiz ile yeni kırk iki arasındaki altı başvuru, meclise hangi sayının gideceği sorusuna dönüştü.

Tek fikir

Bir modeli eğitmek, ayarlarını seçmek ve son başarısını ölçmek üç ayrı iştir ve her biri kendi veri kümesini ister. Seçim yapmak için baktığın küme, baktıkça iyimserleşir; son ölçüm ancak hiç dokunulmamış bir kümeden gelir.

Nasıl çalışır

Ders 5.3'te Onur iki yüz etiketli başvuruyu üçe bölmüştü: yüz onuyla ağacı büyüttü, kırkıyla hangi dalların kesileceğine karar verdi, elli başvuruyu ise ölçüm için hiç dokunmadan ayırdı. O gün bu bölmenin parçalarına ad koymadık. Şimdi koyuyoruz.

Bu ayrımı daha önce adını koymadan birkaç kez kullandık. Onur'un ağacında budama için ayrılan kırk başvuru bir doğrulama kümesiydi. Ders 5.4'te Levent Bey, gradyan artırmada ağaç sayısını üç yüzde durdururken ayrı tuttuğu yıla bakıyordu; o yıl da bir doğrulama kümesiydi. Ders 4.6'da Elif'in model belgesine yazdığı öğrenme oranı ve durma ölçütü de ancak eğitimde kullanılmayan dosyalara bakılarak seçilebilir. Hepsinin ortak yanı şu: modelin kendi kaybını düşürerek bulamadığı, bir insanın denemeler arasından seçtiği sayılar.

Peki neden iki ayrı küme? Doğrulama kümesi neden son ölçüm olamıyor? Cevap seçme işleminin kendisinde. Yedi yönerge sürümünü aynı elli başvuruda denediğinde en yüksek sayıyı veren sürümü seçersin. O sürüm gerçekten en iyisi olabilir; ama elli başvuruluk küçük bir kümede şans da sayıyı oynatır. En yükseği seçmek, gerçek iyiliği seçerken şansın en çok yardım ettiği sürümü de seçmek demektir. Seçilen sürümün o kümedeki sayısı, gerçek başarısının üstüne şanstan gelen bir pay ekler.

Bu payın ne kadar olabileceğini hesaplayalım. Yedi sürümün hepsinin gerçekte aynı iyilikte olduğunu, her birinin yeni başvuruların yüzde seksen dördünü doğru yönlendirdiğini varsayalım. Tek bir sürümü elli başvuruda sınarsan ortalama kırk iki doğru beklersin. Yedisini de sınayıp en yükseğini seçersen, beklenen en yüksek sayı yaklaşık kırk beş virgül üç olur. Hiçbir sürüm diğerinden iyi olmadığı hâlde seçilenin sayısı üç puan yukarıda görünür. Üstelik yedi sürümden en az birinin kırk altı ya da daha fazlasını tutturma olasılığı yüzde kırk dörde yakındır; tek bir sürüm için bu olasılık yüzde sekiz civarındadır.

Onur'un durumu bundan da ağır. O yalnız yedi hazır sürüm arasından seçmedi; her sürümü bir öncekinin o elli başvurudaki hatalarına bakarak yazdı. Elli başvurunun her biri yönergeye bir iz bıraktı. Doğrulama kümesi bu yüzden zamanla aşınır: üzerinde ne kadar çok karar verilirse, verdiği sayı o kadar az bilgi taşır. Test kümesinin bütün değeri, bu aşınmaya hiç uğramamasından gelir.

Kümelerin büyüklüğü için kesin bir kural yoktur. Aynı bölüm, tipik bir bölmenin yarısı eğitime, dörtte biri doğrulamaya, dörtte biri teste olabileceğini söyler ama bunun verideki gürültüye ve eğitim örneklerinin sayısına bağlı olduğunu ekler. Onur'un yüz on, kırk, elli bölmesi buna yakındır.

Bölmenin nasıl yapıldığı, oranından daha önemlidir. Kitabın önerdiği rastgele bölme, satırların birbirinden bağımsız olduğunu varsayar. İki durumda bu varsayım çöker.

Birincisi zamandır. Model yarını tahmin edecekse, test kümesi de eğitim kümesinden sonraki bir dönemden gelmelidir. Rastgele bölmede martın bir günü eğitimde, bir önceki günü testte olabilir; model sınavda geleceği değil, iki komşu günün arasını tahmin eder. Belediyeye kışın donmuş sayaç, yazın park şikâyeti gelir; yalnız kış aylarında karıştırılarak sınanan bir asistan, haziranın başvurularını hiç görmemiştir.

İkincisi aynı kaynaktan gelen satırlardır. Ders 5.3'teki "Sayın" dalını hatırla: aynı mahalleden, aynı kırık kaldırım için yazılmış üç dilekçe. Bunlardan ikisi eğitimde, biri testte olsaydı asistan sınavda yeni bir başvuruyu değil, gördüğü bir başvurunun kardeşini yönlendirirdi. Aynı kişinin, aynı hastanın, aynı kazanın satırları birlikte bir kümeye gider. Test bilgisinin eğitime bu türden gizli yollarla karışmasını Modül 6'nın beşinci dersinde adıyla ele alacağız.

Sahada

Nerede yanılır

Bu yöntemin en sık kırıldığı yer, test kümesinin sessizce doğrulama kümesine dönüşmesidir. Kimse "şimdi test kümesine bakarak seçim yapacağım" demez. Onur gibi her akşam küçük bir düzeltme yapılır; her düzeltme sayıyı biraz yükseltir ve sayı yükseldikçe kümeye duyulan güven de artar. Oysa her bakış bir karar üretir, her karar o kümeyi biraz daha eğitimin parçası yapar. Sonunda elde, gerçek başarıdan çok o kümeye ne kadar uyulduğunu ölçen bir sayı kalır.

İkinci kırılma, kasadaki küme açıldıktan sonra yaşanır. Burcu'nun elli yeni başvurusu kırk iki doğru verdi. Onur'un ilk dürtüsü yanılan sekiz başvuruya bakıp yönergeyi bir kez daha düzeltmek oldu. Bunu yaparsa yeni küme de doğrulama kümesine dönüşür ve bir sonraki sürümün başarısını ölçecek dokunulmamış bir küme kalmaz. Test kümesine bakıldıktan sonra yapılan her düzeltme, yeni bir test kümesi gerektirir.

Üçüncüsü küme küçüklüğüdür. Elli başvuruda tek bir başvuru iki puanlık bir farktır. Kırk iki ile kırk dört arasındaki fark, iki yönerge arasındaki gerçek bir farkı da şansı da gösterebilir. Küçük bir test kümesi dürüst olabilir ama kaba ölçer; meclise gidecek sayının yanına kümenin büyüklüğü de yazılmalıdır.

Son olarak, dokunulmamış bir test kümesi yalnız kendi geldiği yerden söz eder. Burcu'nun elli başvurusu şubat ve mart arşivinden, internet formundan geliyordu. Ders 3.6'da gördüğümüz çağrı hattı ve masa başvuruları bu kümede yoksa, kırk iki onlar için hiçbir şey söylemez. Dürüst bölme, temsil sorununu çözmez.

Uygulama

Bu çalışmada seçme işleminin bir sayıyı nasıl şişirdiğini zarla göreceksin. Bir zar ve kâğıt kalem yeter. Kurduğun düzende her yönerge sürümü gerçekte aynı iyiliktedir; zarın bir ile beş arası gelmesi doğru yönlendirme, altı gelmesi yanlış yönlendirme sayılır. Yani her sürümün gerçek başarısı altıda beş, yaklaşık yüzde seksen üçtür.

1. Kâğıda A, B, C, D, E diye beş sürüm yaz.
2. Her sürüm için zarı on kez at ve altı gelmeyen atışları say. Bu, sürümün on başvuruluk doğrulama kümesindeki başarısıdır.
3. En yüksek sayıyı alan sürümü seç. Eşitlik varsa alfabede önce geleni al.
4. Seçtiğin sürüm için zarı on kez daha at. Bu, hiç bakılmamış on başvuruluk test kümesidir; sayıyı yaz.
5. Bütün turu üç kez yinele ve üç seçim sayısının ortalamasını, üç test sayısının ortalamasıyla karşılaştır.
6. Hiçbir sürümün ötekinden iyi olmadığını bildiğin hâlde, seçtiğin sürümün doğrulama sayısını ilk gördüğünde ona ne kadar güvendiğini bir cümleyle yaz.

Hesap şunu bekletir. Tek bir sürümün on atışta beklenen başarısı sekiz virgül üçtür. Beş sürümün en yükseğini seçtiğinde beklenen sayı yaklaşık dokuz virgül beş beştir. Beş sürümden en az birinin onda on tutturma olasılığı yaklaşık yüzde elli dokuzdur; tek bir sürüm için bu olasılık yüzde on altı civarındadır. Test atışlarının ortalaması ise yine sekiz virgül üç dolayında kalır, çünkü yeni atışlar seçimden habersizdir. Üç turla senin ortalamaların bu sayılardan sapabilir; sapma da zarın sana gösterdiği şanstır.

Defter: "Kasadaki küme" adlı sayfaya üç turun seçim ve test sayılarını bir tabloya geçir; altına, şu ana kadar bir sayıya bakıp karar verdiğin ve aynı sayıyı sonra başarının kanıtı diye kullandığın bir durum aklına gelirse onu yaz.

Hata köşesi

Sorumluluk

Meclise hangi sayının gideceğine Onur değil, belediye karar verir; ama sayının nereden geldiğini yazmak Onur'un sorumluluğudur. Kırk sekiz, yönergenin bir ay boyunca göre düzeltildiği kümenin sayısıdır; kırk iki, hiç bakılmamış kümenin sayısıdır. Raporda ikincisi başarı diye, birincisi seçim süreci diye yer alır; ikisinin karıştırılması, asistanın yanlış yönlendireceği vatandaşların sayısını gizler. Test kümesini kimin hazırladığı, ne zaman açıldığı ve açıldıktan sonra yönergede bir değişiklik yapılıp yapılmadığı da rapora yazılır. Kasadaki kümeyi Burcu tutar; bir sonraki sürümün doğrulanması için yeni kümeyi de o etiketler ve Onur görmeden saklar.

Kapanış

1. Eğitim kümesi parametreleri öğretir, doğrulama kümesi ayarları seçtirir, test kümesi son modelin başarısını bir kez ölçer; üç iş üç ayrı küme ister.
2. Bir kümeye bakarak ne kadar çok seçim yapılırsa o kümenin verdiği sayı o kadar iyimserleşir; test kümesi bu yüzden kasada durur ve açıldıktan sonra yapılan her düzeltme yeni bir test kümesi ister.
3. Bölme modelin kullanılacağı durumu taklit eder: zaman sıralı veride test kümesi sonraki dönemden gelir, aynı kişiye ya da kaynağa ait satırlar aynı kümede kalır.

Üç soru

1. Onur'un yönergesi aynı elli başvuruda kırk sekiz doğru verirken Burcu'nun yeni elli başvurusunda neden kırk ikide kaldı?
2. Ders 5.3'teki ağacın budama kararı kırk başvuruda verildi, elli başvuru ise yalnız ölçüm için kullanıldı. Onur budamaya elli başvuruya bakarak karar verseydi ne değişirdi?
3. Melis hasar dosyalarını neden rastgele değil, kaza numarasına ve tarihe göre böldü?

Yanıtlar

1. Onur yönergeyi bir ay boyunca o elli başvurunun hatalarına bakarak düzeltti; her düzeltme kümeye bir iz bıraktı ve küme sınav olmaktan çıkıp doğrulama kümesine dönüştü. Kırk sekiz, gerçek başarının üstüne o kümeye uyumdan gelen bir pay ekliyordu. Burcu'nun kümesi hiçbir karara karışmamıştı, bu yüzden kırk iki son modelin yeni başvurulardaki başarısına daha yakın bir ölçümdür.
2. O zaman elli başvuru budama ayarını seçmek için kullanılmış olur, doğrulama kümesine dönüşürdü. Budanmış ağacın elli başvurudaki kırk biri, seçimin iyimserliğini taşırdı ve son ölçüm için dokunulmamış bir küme kalmazdı. Ayrı tutulan kırk başvuru sayesinde kırk bir dürüst bir test sayısı olarak kaldı.
3. İki araçlı bir kaza iki satırdı; rastgele bölmede bir satır eğitime, öteki teste düşebilir ve model sınavda aynı kazanın kardeşini görürdü. Ayrıca model gelecek ayın dosyalarını tahmin edecekti; aynı aylardan gelen bir sınav bunu taklit etmez. Kaza numarasını bölmeyip son üç ayı teste ayırmak, modelin gerçekte karşılaşacağı durumu kurar.

Sonraki derse köprü

Kümeler ayrılınca iki sayı birlikte okunabilir hâle geliyor: modelin eğitim kümesindeki başarısı ve doğrulama kümesindeki başarısı. Aradaki açık büyükse model eğitim örneklerinin rastlantılarını da öğrenmiştir; ikisi birlikte düşükse model işin yapısını yakalayamamıştır. Ders 6.3, Aşırı ve eksik öğrenme, bu iki ucu adlandırıyor ve aralarındaki dengeyi yanlılık ile varyans kavramlarıyla kuruyor.