Ezber ve genelleme

Açılış

Nisanın ilk haftası Zeynep Hanım kalıtım ünitesinin sonunda bir deneme sınavı yaptı. Yirmi soru, beşer şık. Soruları geçen yılın ünite sınavından almıştı; bezelyelerde tohum rengi, kan grupları, bir çaprazlamadan çıkan dört yüz bitkinin kaçının buruşuk tohumlu olacağı.

Doruk yirmi soruda yirmi yaptı. Sınıfın en yüksek puanıydı ve Doruk'un bu yıl aldığı en yüksek puandı. Elçin on altıda kalmıştı; iki soruda oranı doğru kurup çarpmada yanılmıştı.

Ertesi hafta Zeynep Hanım aynı yirmi soruyu yeniden verdi, ama iki şeyi değiştirdi. Soruların sırasını karıştırdı ve sayıları değiştirdi: dört yüz bitki yerine iki yüz kırk, sarı tohum yerine yeşil tohum soruldu, bir soruda annenin kan grubu babanınkiyle yer değiştirdi. Konu aynıydı, yöntem aynıydı, gereken bilgi aynıydı.

Elçin on beş aldı. Doruk yedi.

Doruk ders çıkışı Zeynep Hanım'ın masasına geldi ve dürüstçe anlattı. Geçen yılın sınavı cevap anahtarıyla birlikte bir mesajlaşma grubunda dolaşıyordu. Doruk her soruyu cevabıyla ezberlemişti; dört yüz bitkili sorunun cevabı yüzdü, onu biliyordu. İki yüz kırk bitkili soruda yüz şıkkı yoktu. Sırası değişince de hangi sorunun hangi harfe gittiğini çıkaramamıştı.

Zeynep Hanım ertesi gün olayı adını vermeden sınıfa anlattı. Mert hemen bağladı: "Asistana sorduğumuz sorular da böyle olabilir. Gördüğü soruysa tam cevap, görmediyse..." Cümlesini bitirmedi. Berk "Ama ilk sınavda yirmi yaptı, bu da bir şey ölçtü," dedi.

Zeynep Hanım tahtaya yazdı: "Yirmide yirmi, neyin puanıydı?"

Tek fikir

Bir modelin gördüğü örneklerdeki başarısı, ezberle öğrenmeyi birbirinden ayıramaz; ikisi de orada tam puan alabilir. Neyin öğrenildiğini yalnız hiç görülmemiş örneklerdeki başarı gösterir.

Nasıl çalışır

Modül 5 boyunca modelleri tablolarla eğittik. Her seferinde aynı soru arkada duruyordu: model bu tablodan ne aldı? Örneklerin altında yatan düzeni mi, yoksa örneklerin kendisini mi? Bu iki şey eğitim tablosunun üstünde aynı görünür. Ayrıldıkları yer, tabloda olmayan ilk girdidir.

Küçük bir örnekle görelim. Bir makineye sekiz girdi verilmiş ve her birinin çıktısı yazılmış. Girdiler birden sekize kadar. Çıktılar bir, dört, yedi, on, on üç, altmış bir, on dokuz ve yirmi iki. Altıncı satırda bir yazım hatası var: doğrusu on altı, ama kayda rakamları ters dönmüş hâliyle altmış bir girmiş.

Bu tabloya iki model kuralım. Birincisi bir ezber tablosudur: bilinen bir girdi gelince kayıtlı çıktıyı söyler, bilinmeyen bir girdi gelince en yakın bilinen girdinin çıktısını verir. İkincisi kuralı arar ve bulur: girdiyi üçle çarpıp ikiyi çıkarmak.

Eğitimde kullanılan sekiz satırda ezber tablosu sekizde sekiz yapar; altmış biri de doğru bilir, çünkü kayıtta öyle yazıyor. Kural sekizde yedide kalır; altıncı satırda on altı der ve tablo ona yanıldığını söyler. Eğitim tablosuna bakan biri ezberciyi seçer.

Şimdi tabloda hiç olmayan dört girdi gelsin: dokuz, on, on iki ve on beş. Doğru çıktılar yirmi beş, yirmi sekiz, otuz dört ve kırk üç. Kural dördünü de bilir. Ezber tablosu dördüne de en yakın bilinen girdinin, yani sekizin çıktısını verir ve dördünde de yanılır.

Ders 4.1'de Melis'in beş dosyasından kusursuz geçip sekiz parçalı bir dosyaya beş yüz seksen üç bin lira biçen eğri de aynı türdendi: eğitim satırlarında hatasız, ilk yeni girdide çok uzakta.

Doruk'un ilk sınavı eğitim satırlarıydı. İkinci sınav görülmemiş girdilerdi. Zeynep Hanım'ın tahtaya yazdığı sorunun cevabı burada: ilk puan Doruk'un o yirmi soruyu ne kadar iyi sakladığını ölçtü, kalıtımı ne kadar anladığını değil. Beş şıklı yirmi soruda yalnız tahminle beklenen puan dörttür; Doruk'un yedisi, ezberin dışında kalan biraz bilginin ve şansın toplamıdır.

Ezber her zaman kötü değildir. Bir model ileride yalnız gördüğü girdilerle karşılaşacaksa saklamak yeterlidir: il plaka kodlarını ya da çarpım tablosunu ezberlemek işe yarar, çünkü sorulacak soru değişmez. Ders 5.5'teki en yakın komşu da bütün yaprakları olduğu gibi saklıyordu ve bu ezber yeni yaprağa yardım ediyordu, çünkü yeni yaprak eskilere benziyordu. Ezber iki durumda tehlikeye döner. Birincisi, gelecek girdiler eğitimdekilerden farklıysa: sorular değişir, cevaplar eskide kalır. İkincisi, saklanan şeyin içinde gürültü ya da sır varsa: altmış bir gibi bir yazım hatası, Ders 5.3'teki ağacın üç dilekçeden çıkardığı "Sayın" dalı gibi bir rastlantı ya da Ders 1.4'te andığımız gibi eğitim metninden harfi harfine geri getirilen kişisel bilgi.

Bu ayrımın büyük modellerde ne kadar keskin olduğunu gösteren bir çalışma var.

Bu sayılarda en öğretici olan, eğitim puanlarının aynı çıktığı karşılaştırmadır. Gerçek etiketlerle eğitilen ağ da, rastgele etiketlerle eğitilen ağ da eğitim görüntülerinde yüzde yüz yaptı. Biri görüntüyle sınıf arasındaki bağı yakaladı, öteki yakalayacak bir bağ olmadığı için elli bin görüntüyü tek tek sakladı. Eğitim puanı bu iki ağı ayıramıyor; ayıran yalnız görülmemiş görüntülerdeki puan. Yazarlar ara durumu da denedi: etiketlerin bir kısmını bozduklarında ağlar eğitim setine yine tam uydu, bozulan oran arttıkça görülmemiş görüntülerdeki hata düzenli olarak büyüdü. Ağ, etiketlerde kalan düzeni yakalarken bozulmuş kısmı da zorla saklıyordu.

Aynı şeyi Ders 5.5'teki tek komşulu yöntemde kâğıt üstünde görmek mümkün. Eğitim tablosundaki her yaprağın en yakın komşusu, sıfır uzaklıktaki kendisidir; bu yüzden ağaç adlarını kurayla dağıtsak bile yöntem kendi sekiz yaprağında sekizde sekiz yapar. Eğitim puanı, adların doğru olup olmadığını hiç sormaz.

Sahada

Nerede yanılır

En sık hata, eğitim verisindeki puanı genelleme puanı sanmaktır. Bu çoğu zaman bilerek yapılmaz. Bir model eğitilir, aynı tabloda puanlanır, sayı yüksektir ve sayı rapora geçer. Murat Bey'in "yüzde yüz"ü böyle bir sayıydı. Belirtisi, raporda puanın hangi örneklerle hesaplandığının yazmamasıdır. Bir başarı oranı okuduğunuzda ilk sorulacak şey, o örneklerin eğitimde kullanılıp kullanılmadığıdır.

İkinci hata daha sinsidir: görülmemiş sanılan örneklerin aslında görülmüş olması. Onur'un nüfus cüzdanı başvurusu birkaç kelimesi değişmiş bir kopyaydı. Doruk'un ilk sınavı da öğretmen açısından yeni bir sınavdı, Doruk açısından değil. Bir örneğin "görülmemiş" sayılması için modelin önüne hiçbir yoldan, ne eğitim tablosunda ne yönergede ne de benzer bir kopya olarak gelmemiş olması gerekir. Büyük modeller internetten toplanan metinlerle eğitildiğinde, yayımlanmış bir sınav sorusunun eğitim metinlerinde bulunup bulunmadığını dışarıdan bilmek çoğu zaman mümkün değildir.

Üçüncü hata, görülmemiş örneklerin eğitimdekilerle aynı dünyadan gelmemesidir. Zeynep Hanım'ın ikinci sınavı konuyu değiştirmedi, yalnız sayıları değiştirdi; bu adil bir sınamaydı. Sınava genetik yerine ekoloji koysaydı Elçin de düşerdi ve bu düşüş ezberi değil, öğretilmemiş bir konuyu ölçerdi. Genelleme, aynı türden yeni girdiler için tanımlıdır. Ne kadar uzağa genellemenin beklenebileceği ayrı bir sorudur ve bu modülün sonunda ele alınacak.

Son olarak, eğitim ile görülmemiş veri arasındaki farkın küçük olması her şeyin yolunda olduğunu göstermez. İki puan da düşük olabilir: model ne ezberlemiş ne öğrenmiştir. Fark büyükse saklama işareti, iki puan birlikte düşükse yetersizlik işaretidir.

Uygulama

Bu çalışmada açılıştaki iki sınavın küçük bir benzerini hesap tablosunda kuracak, bir ezberciyle bir kuralcıyı önce gördükleri satırlarda, sonra görmedikleri satırlarda puanlayacaksın. Kâğıt kalem de yeter; yirmi dakika ayır.

1. A sütununa birden sekize kadar girdileri, B sütununa dersteki çıktıları yaz: bir, dört, yedi, on, on üç, altmış bir, on dokuz, yirmi iki. Altıncı satırdaki yazım hatasını düzeltme.
2. C sütununa ezber tablosunun cevabını yaz; eğitim satırlarında bu, B sütununun kendisidir.
3. D sütununa kuralın cevabını yaz. Türkçe hesap tablosunda ikinci satır için =3*A2-2 yeter.
4. Her iki model için B ile aynı olan cevapları say. Bu, eğitim puanıdır.
5. Altına dört yeni satır aç: dokuz, on, on iki ve on beş. Doğru çıktıları kuraldan yaz. Ezber tablosu yeni girdide en yakın bilinen girdinin çıktısını verecek; dördü için de sekizin çıktısı olan yirmi ikiyi yaz.
6. İki modelin yeni satırlardaki doğrularını say. Bu, görülmemiş veri puanıdır.
7. B sütunundaki sekiz çıktıyı kâğıda yaz, kesip karıştır ve rastgele sırayla geri koy. Ezber tablosunun eğitim puanını yeniden say. Sonra bu karışık tabloda bir kural bulmaya çalış.
8. Bulduğunu iki cümleyle yaz: hangi puan iki modeli ayırdı, hangisi ayıramadı?

Dördüncü adımda ezber sekizde sekiz, kural sekizde yedi bulmalı; kuralın kaçırdığı satır altmış birli satırdır. Altıncı adımda ezber dörtte sıfır, kural dörtte dört. Yedinci adımda ezber yine sekizde sekiz yapar, çünkü hangi çıktı hangi satıra konursa konsun onu saklar; karışık tabloda ise kuralcının bulabileceği bir düzen yoktur. Bu, Zhang ve arkadaşlarının deneyinin kâğıt üstündeki küçük kopyasıdır.

Defter: "İki sınav" adlı sayfaya bu tablonun dört puanını tek satırda yaz; altına, son okuduğun bir başarı oranını ve o oranın hangi örneklerle hesaplandığının yazılı olup olmadığını not et.

Hata köşesi

Sorumluluk

Bir modelin başarı oranını raporlayan kişi, o oranın hangi örneklerle hesaplandığını da yazmakla sorumludur. "Doğruluk yüzde yüz" cümlesi örneklerin kaynağı yazılmadan bir bilgi değil, bir iddiadır. Satın alma kararını veren Murat Bey gibi biri, kararını eğitim puanına değil, kendi ayırdığı ve modelin hiç görmediği örneklerdeki puana bağlamalıdır; bu örnekleri seçmek ve saklamak da alıcının işidir, satıcının değil. Zarar en çok, modelin eğitim verisinde az temsil edilen insanlara dokunur: gece vardiyasındaki kutu, masaya gelip dilekçe yazdıran yaşlı başvuran, farklı bir bölgeden gelen hasta. Eğitim puanı onları hiç görmez. Bu yüzden her yeni sürüm, kimsenin eğitimde kullanmadığı örneklerle yeniden doğrulanır ve bu doğrulamanın kimin tarafından, hangi örneklerle yapıldığı kayda geçer.

Kapanış

1. Ezber, eğitim örneklerini düzen çıkarmadan saklamaktır; genelleme, hiç görülmemiş ama aynı türden girdilerde de doğru cevap verebilmektir. Eğitim verisindeki puan bu ikisini ayıramaz.
2. Ezber, sorular değişmiyorsa işe yarar; gelecek girdiler farklıysa ya da saklanan şeyin içinde yazım hatası, rastlantı veya kişisel bilgi varsa zarar verir.
3. Rastgele etiketlere bile tam uyabilen modeller vardır; bir modelin neyi öğrendiğini ölçmenin dürüst yolu, ona hiçbir biçimde gösterilmemiş örneklerdir.

Üç soru

1. Doruk'un iki sınavındaki puanlar neyi ölçtü? Zeynep Hanım'ın ikinci sınavı neden yine kalıtımı ölçen adil bir sınav sayılır?
2. Zhang ve arkadaşlarının deneyinde gerçek etiketlerle ve rastgele etiketlerle eğitilen ağlar hangi puanda aynı, hangisinde farklıdır? Bu fark ne gösterir?
3. Onur'un memura aktarılacak başvurulardaki yüzde yüz neden güvenilir bir sayı değildi ve Onur ne yaptı?

Yanıtlar

1. İlk puan Doruk'un geçen yılın yirmi sorusunu cevaplarıyla ne kadar iyi sakladığını ölçtü. İkinci puan, sayılar ve sıra değişince ne kadar kalıtım bildiğini ölçtü. İkinci sınav konuyu, yöntemi ve gereken bilgiyi değiştirmedi; yalnız ezberle çözülebilen yüzeyi değiştirdi. Elçin'in puanının neredeyse aynı kalması bunun işaretidir.
2. Eğitim puanında ikisi de yüzde yüze yakındır. Görülmemiş görüntülerde gerçek etiketli ağ yüzde seksen beşin üstüne çıkar, rastgele etiketli ağ on sınıfta kura düzeyinde, yüzde on civarında kalır. Eğitim puanı modelin bir düzen mi yakaladığını, yoksa her şeyi mi sakladığını söyleyemez; bunu yalnız görülmemiş veri söyler.
3. Asistanın yönergesindeki çözülmüş örnek, birkaç kelimesi değişmiş hâliyle sınama listesinde de vardı; asistan cevabı önünde görüyordu. Onur o başvuruyu ve benzerlerini sınamadan çıkardı, puanı yeniden hesapladı ve düşüşün nedenini Hakan Bey'e yazdı.

Sonraki derse köprü

Bu derste görülmemiş veriyi tek bir yığın gibi düşündük. Oysa Ders 5.3'te Onur başvurularını üçe ayırmıştı: yüz onu ağacı kurmak için, kırkı hangi dalların kesileceğine karar vermek için, ellisi en sonda ölçmek için. Ders 6.2, Eğitim, doğrulama, test, bu üç parçanın her birinin işini ve bir parçaya bakarak karar verildiğinde ona artık neden aynı gözle güvenilemeyeceğini ele alıyor.