Çapraz doğrulama

Açılış

Nisanın ortasında ikinci ekimin fideleri dördüncü haftasını doldurdu. Sınıfta on saksı vardı. Elçin'in sulama defteri her saksının haftada kaç mililitre su aldığını, cetvel de o sabah her fidenin kaç santim olduğunu söylüyordu.

Berk'in fikri basitti: suyun boya etkisi yok, her saksı için sınıfın ortalama boyunu söylemek yeter. Tahtada bu, yatay bir çizgiydi. Elçin suyla boyun birlikte arttığını düşünüyordu; onun çizgisi eğikti. Zeynep Hanım tartışmayı 6.2'deki gibi çözmeyi önerdi: saksıların yarısıyla iki çizgiyi de kur, öteki yarısında hangisi daha az yanılıyor, ona bak.

Mert saksıları numarasına göre böldü. Çift numaralılarla iki çizgi kuruldu, tek numaralılarda sınandı. Eğik çizginin ortalama kare hatası yirmi sekiz virgül yedi, yatay çizgininki otuz dört virgül dört çıktı. Elçin kazanmıştı.

Doruk elini kaldırdı. "Tersini de deneyelim mi? Tek numaralılarla kurup çiftlerde sınasak?" Bir ay önce cevap anahtarını ezberlediği için yedi alan çocuk, şimdi sınavın kendisini sorguluyordu.

Ters bölmede yatay çizginin hatası bir virgül sekiz, eğik çizgininki iki virgül yedi çıktı. Bu kez Berk kazanmıştı.

Sınıf bir süre sustu. Aynı on saksı, aynı iki çizgi, iki ayrı cevap. Berk "o zaman ikimiz de haklıyız" dedi. Elçin "o zaman hiçbirimiz bilmiyoruz" dedi.

Zeynep Hanım tahtaya yazdı: "Cevabı saksılar mı verdi, bölme mi?"

Tek fikir

Küçük veride tek bir bölme, ölçümü şansa bırakır. Veriyi katlara ayırıp her katı bir kez sınav yapmak, her satırı hem öğretmen hem sınav olarak kullanır ve aynı veriden çok daha kararlı bir ölçüm çıkarır.

Nasıl çalışır

Açılıştaki sorun bölmenin kendisinden geliyor. Tek numaralı saksılar arasında yedinci saksı var: haftada yüz otuz mililitre su almış, yirmi altı santime çıkmış. Pencere tarafındaki rafta duruyor, öteki fidelerden neredeyse on santim uzun. Sınav yarısında bu saksı varsa iki çizgi de büyük hata yapar ve sonucu o tek saksı belirler. Çift numaralı yarıda böyle bir saksı yok, beş fide de on dört ile on yedi santim arasında; orada sınıfın ortalaması zaten iyi bir tahmin.

On saksıyı beşer beşer ikiye ayırmanın iki yüz elli iki yolu var. Bütün bu bölmeleri tek tek denediğimizde eğik çizgi yüz elli dokuzunda kazanıyor, yatay çizgi doksan üçünde. Eğik çizginin sınav hatası en iyi bölmede bir civarında, en kötüsünde yüz altmış üç. Mert'in rastgele seçtiği bölme, bu geniş yelpazeden çekilmiş tek bir sayıdır.

Çözüm, sınavı bir kez değil, sırayla birçok kez yapmaktır.

On saksıyı beş kata ayırınca her kat iki saksı olur. Birinci turda birinci kat kenara çekilir, iki çizgi de kalan sekiz saksıyla kurulur ve kenardaki iki saksıda sınanır. İkinci turda ikinci kat kenara çekilir, çizgiler baştan kurulur. Beş tur bittiğinde her saksı tam bir kez sınava girmiş, dört kez de eğitimde kullanılmıştır. On sınav hatasının ortalaması çapraz doğrulama hatasıdır.

Bu yöntem yeni sayılmaz. İstatistikçi Mervyn Stone, seçmek ile değerlendirmeyi aynı mantığa bağlayan bir makale yayımladı.

Beş katlı ölçüm tek bölmeden ne kadar kararlı? On saksıyı ikişerli beş kata ayırmanın dokuz yüz kırk beş yolu var ve hepsi hesaplanabilir. Uygulamada kuracağımız düzenekte eğik çizgi bu bölmelerin dokuz yüz kırk üçünde kazanıyor; çapraz doğrulama hatası en iyi bölmede on altı virgül iki, en kötüsünde yirmi virgül yedi.

Kat sayısı bir seçimdir. Kat sayısı veri sayısına eşitse, yani her turda tek bir satır kenara çekiliyorsa, buna birini dışarıda bırakma denir.

Çapraz doğrulama, 6.2'deki üçlü bölmenin yerine geçmez; onun pahalı kısmını ucuzlatır. Doğrulama kümesine ayıracak kadar veri olmadığında, seçim çapraz doğrulamayla yapılır. Seçilen yöntem sonra bütün veriyle bir kez daha kurulur. Ayrılacak kadar veri varsa test kümesi yine kasada bekler.

Sahada

Nerede yanılır

Çapraz doğrulamanın en sinsi kırılması, katlara ayırmadan önce yapılan işlerdedir. Berk'in bir önerisi vardı: yedinci saksı tabloyu bozuyor, uzun saksıları baştan atalım, sonra çapraz doğrulamayı yapalım. Masum görünüyor. Ama ayıklama kuralı saksıların boyuna, yani tahmin edilmek istenen sayıya bakıyor. Uzun saksı ayıklanınca hiçbir katta sınava da girmez. Gelecek ekimde pencere rafında yine böyle bir fide çıkabilir ve kimse onu boyunu bilmeden ayıklayamaz. Baştan ayıklama, modeli zor saksıdan kaçırarak ölçmektir.

İkinci kırılma katların nasıl kurulduğundadır. Sahada bölümündeki üç durumun üçü de aynı yere varıyor: aynı tasarımın kutuları, aynı kazanın satırları, aynı ilin hastaları birbirine benzer. Katlar onları ayırırsa, 6.5'te ele alınan türden bir sızma başlar ve çapraz doğrulama iyimser bir sayı verir. Katlar, modelin kullanılacağı durumu taklit edecek biçimde kurulur.

Üçüncüsü, çapraz doğrulama yalnız elindeki verinin dünyasını ölçer. On saksının hepsi aynı sınıfta, aynı nisan güneşinde büyüdü. Haziranda balkonda yapılacak bir ekim başka bir sıcaklık ve ışık getirir; 6.6'daki dağılım kayması sorusunu hiçbir kat düzeni cevaplamaz. Son olarak, Hastie ve arkadaşları çapraz doğrulamanın elindeki bu belirli modelin değil, aynı yöntemle bu büyüklükte veriden kurulacak modellerin ortalama hatasını kestirdiğini not eder.

Uygulama

Bu atölyede on saksılık tabloyla iki çizgiyi beş katlı çapraz doğrulamayla elle karşılaştıracak, sonra Berk'in ayıklama kuralını önce doğru, sonra yanlış yerde uygulayıp iki sayıyı kıyaslayacaksın. Hesap makinesiyle de yapılır. Eğik çizgiyi 4.7'deki en küçük kareler yoluyla kuracaksın: eğim, suyun ortalamadan sapmalarıyla boyun ortalamadan sapmalarının çarpımlarının toplamının, suyun sapmalarının karelerinin toplamına bölümüdür; kesişim, boy ortalamasından eğim çarpı su ortalamasının çıkarılmasıyla bulunur.

1. Katları kur: A katı saksı 1 ve 6, B katı 2 ve 7, C katı 3 ve 8, D katı 4 ve 9, E katı 5 ve 10. Her saksı yalnız bir kattadır.
2. Ayıklama kuralını yaz ve değiştirme: eğitim saksılarının boy ortancasından sekiz santimden fazla uzak olan saksı eğitimden çıkarılır. Kural yalnız eğitim saksılarına bakar; sınav saksısı asla ayıklanmaz, çünkü yeni bir saksının boyu ölçülmeden bilinmez.
3. A katını kenara çek. Kalan sekiz saksının boy ortancasını bul; on beş buçuk çıkar. Yedinci saksının yirmi altısı on santimden fazla uzakta, eğitimden çıkar. Kalan yedi saksının boy ortalaması yatay çizgidir.
4. Aynı yedi saksıyla eğik çizgiyi kur. Sonra saksı 1 ve 6 için iki çizginin tahminini yaz, gerçek boydan çıkar, farkların karesini al.
5. Üçüncü ve dördüncü adımı B, C, D ve E katları için yinele. B katında yedinci saksı zaten sınavdadır; eğitimde sekiz saksı kalır ve kural kimseyi çıkarmaz.
6. On sınav saksısının on kare farkını her çizgi için topla ve ona böl. Bu iki sayı, iki çizginin çapraz doğrulama hatasıdır. Hangisinin daha küçük olduğunu yaz.
7. Şimdi yanlış yolu kur. Kuralı katlara ayırmadan önce on saksının hepsine uygula: ortanca on beş buçuk, yedinci saksı tablodan silinir. Aynı katlarla aynı hesabı yap; B katında sınava yalnız ikinci saksı girer. Dokuz kare farkın ortalamasını al.
8. Altıncı ve yedinci adımın sayılarını karşılaştır. Çizgilerin hiçbiri değişmedi; değişen yalnız hangi saksının sınava girdiği. Farkın nereden geldiğini iki cümleyle yaz.
9. Son olarak kuralı boy yerine suya göre kurduğunu düşün: haftada yüz yetmiş mililitreden fazla su alan saksı çıkarılsın. Bu kural katlardan önce uygulanabilir mi? Kuralın tahmin edilen sayıya bakıp bakmadığına göre cevap ver.

Doğru hesap şu sayılara varır. A katında yatay çizgi on dört virgül kırk üç, eğik çizginin eğimi sıfır virgül sıfır yedi bir, kesişimi beş virgül altmış altıdır; saksı 1 için eğik tahmin on iki virgül sekiz, saksı 6 için on üç virgül beştir. B katında yatay çizgi on dört virgül yirmi beş, eğim sıfır virgül sıfır beş dokuz, kesişim yedi virgül kırk; yedinci saksıya eğik çizgi on beş virgül bir der ve on bir santim yanılır. C katında yatay on beş virgül elli yedi, eğim sıfır virgül sıfır üç üç, kesişim on bir virgül otuz bir. D katında yatay on dört virgül yirmi dokuz, eğim sıfır virgül sıfır altı yedi, kesişim altı virgül yetmiş iki. E katında yatay yine on dört virgül yirmi dokuz, eğim sıfır virgül sıfır yedi dört, kesişim beş virgül seksen yedi. Altıncı adımda yatay çizginin çapraz doğrulama hatası yirmi bir virgül dokuz, eğik çizgininki on yedi virgül beştir; eğik çizgi kazanır. Yedinci adımda aynı sayılar dokuz ve altı virgül birdir. Yanlış yol, hatayı üçte birine yakın bir yere indirmiş gibi gösterir; oysa tek yaptığı, en zor saksıyı sınavdan kaldırmaktır. Dokuzuncu adımda cevap evettir: su girdidir, yeni bir saksının suyu tahminden önce bilinir ve kural boya bakmaz.

Defter: "Beş kat" adlı sayfaya iki çapraz doğrulama hatasını ve yanlış yolun iki sayısını yaz; altına, bir veri işini hatırladığında hangi adımının tahmin edilen sayıya baktığını ve o adımın katların içinde mi, dışında mı yapıldığını not et.

Hata köşesi

Sorumluluk

Okul bilim şenliğinde sınıfın posteri, suyun fasulye boyuyla ilişkisini anlatacak. Hangi sayının postere gireceğine Zeynep Hanım'la sınıf birlikte karar verdi: beş katlı çapraz doğrulama hatası, katların nasıl kurulduğu ve ayıklama kuralının her katın içinde uygulandığı. Tek bölmenin sonucu, hangi bölme olursa olsun, kanıt diye yazılmayacak. Yanlış yolun altı virgül biri de afişte, ama bir uyarı olarak duracak. Sayıyı üreten kişi, onu nasıl ürettiğini yazmaktan da sorumludur; okuyanın elinde bunu doğrulamanın başka yolu yoktur. Kuralı uygulayan Mert, hesabı tekrar eden Doruk oldu.

Kapanış

1. Küçük veride tek bir bölme, sonucu hangi satırların sınava düştüğüne bırakır; aynı veri ve aynı modellerle cevap tersine dönebilir.
2. Çapraz doğrulama veriyi katlara ayırır, her katı bir kez sınav yapar ve hataların ortalamasını alır; katlar aynı kaynaktan gelen satırları birlikte tutacak ve modelin kullanılacağı durumu taklit edecek biçimde kurulur.
3. Etiketlere bakan her ön işleme adımı her katın içinde yalnız eğitim satırlarıyla yeniden yapılır; katlardan önce yapılırsa çapraz doğrulama hatası olduğundan çok daha iyi görünür.

Üç soru

1. Açılışta Berk ile Elçin'in ikisi de bir bölmede kazandı. Bu iki sonuç neden suyun boyla ilişkisi hakkında bir şey söylemiyordu?
2. Atölyenin yedinci adımında çizgilerin hiçbiri değişmediği hâlde çapraz doğrulama hatası neden üçte birine indi?
3. Aynur Hanım altmış kutuyu rastgele katlara dağıttığında modeller neden olduğundan iyi göründü?

Yanıtlar

1. Her iki sonuç da beş saksılık tek bir sınava dayanıyordu ve sınavı en çok yedinci saksının hangi yarıya düştüğü belirledi. İki yüz elli iki olası bölmenin sonuçları geniş bir aralığa dağılıyordu. Beş katlı çapraz doğrulama her saksıyı bir kez sınava sokunca eğik çizgi neredeyse her kat düzeninde kazandı.
2. Ayıklama kuralı boya baktığı için katlardan önce uygulanınca yedinci saksı hiçbir katta sınava girmedi. Eğitimde zaten her katta çıkarılıyordu, bu yüzden çizgiler aynı kaldı. Kaybolan şey, modelin yanılacağı en zor saksının hatasıydı; gerçekte yeni bir saksının boyu ölçülmeden ayıklanamaz.
3. Aynı tasarımın beş kutusu farklı katlara dağılınca model her turda, sınavdaki kutunun kardeşlerini eğitimde görmüş oldu. Bu, yeni bir tasarımı değil, bildiği bir tasarımın bir kutusunu tahmin etmekti. Katlar tasarım düzeyinde kurulunca sınav, müşteriye gidecek gerçek soruya benzedi.

Sonraki derse köprü

Bu derste çapraz doğrulama ortalama kare hatayı ölçtü ve hangi sayıyla ölçtüğümüzü hiç sorgulamadık. Sınıflandırmada aynı katlar bir doğruluk oranı verir. Ama yüz satırın doksan dokuzu aynı sınıftaysa, her satıra o sınıfı söyleyen bir model yüzde doksan dokuz doğruluk alır ve hiçbir şey öğrenmemiştir. Modül 7, Modeli Ölçmek, bu soruyla açılıyor: Ders 7.1, Doğruluk yetmez.