Katmanlar

Açılış

Mayıs ortasında tedarikçinin mühendisi Murat Bey'in odasına bir dosya dolusu çıktıyla geldi. Ayın başında kameradaki ağın son birimini açmış, o birimin önceki katmanlardan gelen birkaç yüz sayıyı topladığını göstermişti. Aynur Hanım o gün bir soru bırakmıştı: o birkaç yüz sayı neyi sayıyor?

Mühendis cevabı resimlerle getirmişti. Her sayfa ağın bir katmanına aitti ve her kutucukta o katmandaki bir birimin en güçlü tepki verdiği fotoğraf parçaları vardı. İlk sayfalarda yalnız kenarlar ve renk geçişleri görünüyordu: bir karton kenarının açık ile koyunun buluştuğu çizgi, lacivert baskının beyaza döndüğü şerit. Orta sayfalarda köşeler ve kıvrımlar başlıyordu. Son sayfalardaki birimler ise bütün parçalara tepki veriyordu: bir kutu kapağının katlandığı yer, bir köşe eziğinin içe göçmüş gölgesi.

Tuncay Bey sayfaları çevirirken durdu. Son katmanlardan birinin kutucuğunda hep aynı sarımtırak ton vardı. "Bu gece vardiyasının lambası değil mi?"

Aynur Hanım başka bir şeye takılmıştı. "Bunları kim tanımladı? Kenar birimi, köşe birimi, ezik birimi. Kim yazdı?"

"Kimse," dedi mühendis. "Biz yalnız fotoğrafları ve 'ezik' ya da 'sağlam' etiketini verdik. Bunlar eğitimde kendiliğinden ortaya çıktı."

Murat Bey dosyayı kapattı. "O zaman bu resimler bize kameranın ne düşündüğünü mü gösteriyor, yoksa sizin onlara ne ad verdiğinizi mi?"

Tek fikir

Bir katman, bir önceki katmanın çıktısını yeni bir sayı listesine çevirir. Gizli katmanlar bu yeniden yazımı kimse tarif etmeden öğrenir; tek çizgiyle ayrılamayan bir tablo, doğru yeniden yazımda ayrılabilir hâle gelir.

Nasıl çalışır

Ders 8.1'de tek bir yapay nöronun, ağırlıkları ne olursa olsun, YA DA'nın dört satırını birlikte tutturamadığını ispatladık. Bu derste nöronları yan yana ve üst üste diziyoruz.

Aynur Hanım'ın sorusunun cevabı bu tanımda saklı. Kameranın gizli katmanlarındaki birimlere "kenar" ya da "köşe" diyen kimse yoktu, çünkü eğitim verisinde böyle bir sütun hiç bulunmadı.

Şimdi Melis'in ödevindeki YA DA tablosuna, iki gizli nöronlu küçük bir ağla dönelim. Kural 8.1'deki gibidir: ağırlıklı toplam artı sapma sıfırdan büyükse bir, değilse sıfır. Ağırlıkları bu kez eğitimle bulmayacağız, elle vereceğiz.

Birinci gizli nöronun iki ağırlığı da bir, sapması eksi sıfır virgül beş. Girdilerden en az biri bir ise ateşlenir; bu bir VEYA nöronudur. İkinci gizli nöronun ağırlıkları yine bir, sapması eksi bir virgül beş. Yalnız iki girdi de bir olduğunda ateşlenir; bu da bir VE nöronudur. Çıktı nöronu girdi olarak bu iki gizli nöronun cevabını alır: birinciye artı bir, ikinciye eksi bir ağırlık verir, sapması eksi sıfır virgül beş.

Dört satırın dördü de doğru. Asıl olay ortadaki iki sütunda. Girdi uzayında dört köşe vardı ve bir verilmesi gereken iki köşe çaprazda duruyordu. Gizli katmanın uzayında ise sıfır bir ile bir sıfır satırları aynı noktaya, bir sıfır noktasına düşer. Geriye üç nokta kalır: sıfır sıfır, bir sıfır ve bir bir. Bir verilmesi gereken tek nokta ortadakidir ve onu ötekilerden ayıran düz bir çizgi vardır: VEYA nöronunun cevabından VE nöronunun cevabını çıkarınca sıfır virgül beşi geçen yer. Çıktı nöronunun yaptığı iş tam olarak bu çizgidir.

Çıktı nöronu 8.1'deki algılayıcıdan farklı bir şey yapmıyor. Değişen, ona verilen girdidir. Önceki katman zor soruyu kolay bir soruya çevirmiştir.

Bu çevirinin bir şartı var. Gizli nöronlar toplamı sıfırda kesmeseydi ve toplamı olduğu gibi aktarsaydı, VEYA nöronunun toplamı birinci girdi artı ikinci girdi eksi sıfır virgül beş, VE nöronunun toplamı aynı şey eksi bir virgül beş olurdu. Çıktı nöronu birinciden ikinciyi çıkarıp sıfır virgül beş daha çıkarınca girdiler birbirini götürür ve her satırda sonuç artı sıfır virgül beş kalır. Ağ dört satırın dördüne bir der. Kesme olmadan üst üste konmuş katmanlar yine girdilerin tek bir ağırlıklı toplamına iner ve o toplam yine tek bir çizgi çizer. Toplamdan sonraki adımın neden eğilmesi gerektiği Ders 8.2'nin konusuydu; burada yalnız sonucunu görüyoruz.

Büyük bir görüntü ağında aynı şey binlerce kez, katman katman olur. Ders 2.5'te kameranın ağının ilk katmanlarının kenar ve renk lekesi yakalayan filtrelere dönüştüğünü söylemiştik; bunun nasıl görüldüğü bir makaleye dayanıyor.

Aynı makale derinlik ile genişlik sorusuna da ölçülmüş bir cevap veriyor. Katman sayısı derinlik, bir katmandaki nöron sayısı genişliktir. Sezgi şöyle: geniş tek bir gizli katman pek çok parçayı aynı anda yan yana tutabilir, derin bir ağ ise parçaları adım adım birleştirir; kenarlardan köşe, köşelerden kapak.

Yazarlar bunu toplam derinliğin önemli olduğu biçiminde yorumluyor. Ortadaki katmanları genişletmek bir miktar kazanç getirmiş, ortadakilerle sondakileri birlikte genişletmek ise aşırı öğrenmeye yol açmış. Yani "büyüt" tek bir yön değildir; nereyi büyüttüğün sonucu değiştirir.

Sahada

Nerede yanılır

Ara katmanları gösteren resimler bir ölçüm gibi görünür ama yorumdur. Zeiler ve Fergus her birim için en güçlü dokuz tepkiyi ve rastgele seçilmiş bir birim alt kümesini gösteriyor. Hangi birimin sayfaya gireceğini, ona hangi adın verileceğini bir insan seçer. Mühendisin dosyasındaki "ezik birimi" de böyle bir addır.

Aynı makale adın nerede yanıltabileceğini de gösteriyor. Beşinci katmandaki bir birimin tepki verdiği görüntü parçaları ilk bakışta birbirine hiç benzemiyordu; yeniden yansıtılmış görüntüler, birimin öndeki nesnelere değil arka plandaki çimene baktığını ortaya çıkardı. Bir başka örnekte bir araba fotoğrafında beşinci katmanın en güçlü birimi araba üzerindeki yazıya tepki veriyordu, oysa sınıflandırıcının cevabı en çok tekerleğin kapatılmasıyla değişiyordu. En parlak birim, kararı veren birim olmayabilir.

Tuncay Bey'in sarı tonlu birimi tam bu sınırda duruyor. Birimin gece lambasına tepki vermesi, kameranın gece fotoğraflarında ezik kararını lambaya bakarak verdiğini kanıtlamaz. Kanıtlamaz ama ihtimali açar. Ders 4.3'te reddedilen fotoğrafların en kalabalık grubu zaten gece vardiyasının sarı ışığıydı ve Ders 6.5'te kamera bir kez zemini öğrenmişti. Soruyu resimler cevaplamaz; cevabı aynı kutuların gece ve gündüz çekilmiş fotoğraflarında kararın değişip değişmediğine bakan bir sınama verir. Ağın içini okumanın daha güçlü yollarını Ders 33.5, Yorumlanabilirlik araştırması, ele alıyor.

Uygulama

Kareli kâğıt ve kalem yeter. Nasıl çalışır'daki ağın yerine YA DA'yı başka ağırlıklarla çözen ikinci bir ağ izleyeceksin. Kural aynı: toplam sıfırdan büyükse bir, değilse sıfır.

1. Birinci gizli nöron: iki ağırlık bir, sapma eksi sıfır virgül beş. İkinci gizli nöron: iki ağırlık eksi bir, sapma artı bir virgül beş. Çıktı nöronu: iki gizli nörona da artı bir ağırlık, sapma eksi bir virgül beş.
2. Dört satır için bir çizelge kur: girdi, birinci gizli toplam ve cevabı, ikinci gizli toplam ve cevabı, çıktı toplamı, çıktı.
3. İkinci gizli nöronun hangi tabloyu hesapladığını kendi cümlenle adlandır.
4. Kareli kâğıda iki kare çiz. Birincisine dört satırı girdilerine göre, ikincisine iki gizli nöronun cevabına göre yerleştir. Her noktanın yanına doğru cevabı yaz.
5. İkinci karede bir verilmesi gereken noktaları ötekilerden ayıran çizgiyi çiz.
6. Gizli nöronlarda kesmeyi kaldır: toplamları olduğu gibi çıktı nöronuna ver ve dört satırın çıktı toplamını yeniden hesapla.

Sonuçlar şöyle olmalı. Birinci gizli nöronun toplamları sırasıyla eksi sıfır virgül beş, sıfır virgül beş, sıfır virgül beş ve bir virgül beştir; cevapları sıfır, bir, bir, bir. İkinci nöronun toplamları bir virgül beş, sıfır virgül beş, sıfır virgül beş ve eksi sıfır virgül beştir; cevapları bir, bir, bir, sıfır. Bu nöron "ikisi birden bir değilse ateşlen" kuralını uygular. Çıktı toplamları eksi sıfır virgül beş, sıfır virgül beş, sıfır virgül beş ve eksi sıfır virgül beştir; dört satır doğru. İkinci karede noktalar sıfır bir, bir bir, bir bir ve bir sıfırdır; ortadaki iki satır yine üst üste biner ve iki gizli cevabın toplamının bir virgül beşi geçtiği yer onları ayırır. Kesme kaldırılınca iki gizli toplamın toplamı her satırda bire eşitlenir, çıktı toplamı her satırda eksi sıfır virgül beş olur ve ağ dördüne de sıfır der.

Defter: Kareli kâğıttaki iki kareyi «İki uzay» adlı bir sayfaya koy ve Nasıl çalışır'daki ağın gizli uzayını da yanına çiz. Altına şunu yaz: iki ağ aynı tabloyu çözüyor; hangi noktalar her ikisinde de birleşiyor, hangileri ayrı kalıyor?

Hata köşesi

Sorumluluk

Mühendisin dosyası tedarikçinin yorumudur, sınama sonucu değildir. Murat Bey müşteri raporuna "kamera ezikleri tanıyor" cümlesini bu resimlere dayanarak yazamaz; kameranın kararını doğrulayan şey hâlâ Ders 7.7'deki karnedir. Sarı tonlu birimin bir sorun olup olmadığını doğrulamak, gece ve gündüz aynı kutularla yapılacak sınamayı istemek Aynur Hanım'ın sorumluluğunda. Ağın içinden alınmış bir görüntüyü kanıt diye sunan satıcıdan, kaç birime bakılıp hangilerinin seçildiğini sormak alıcının işidir. Yanlış gerekçeyle geçen bir kutunun bedelini ise o kolinin içindeki salçayı ya da lokumu taşıyan müşteri öder.

Kapanış

1. Bir katman bir önceki katmanın çıktısını yeni bir sayı listesine, bir temsile çevirir; gizli katmanların ne üretmesi gerektiği ne veride ne etikette yazılıdır, eğitimde öğrenilir.
2. YA DA tablosu girdi uzayında tek çizgiyle ayrılamaz, iki gizli nöronun uzayında ayrılır; bu yalnız gizli nöronlar toplamı keserse olur, kesme olmadan katmanlar tek bir toplama iner.
3. Ara katmanlara verilen adlar insan yorumudur: bir birimin en çok neye tepki verdiği, kararın ona dayandığını göstermez ve doğrulama yine ölçümle yapılır.

Üç soru

1. Aynur Hanım "Bunları kim tanımladı?" diye sordu. Gizli katman tanımına göre cevap neden "kimse"dir?
2. Nasıl çalışır'daki ağda çıktı nöronu 8.1'deki algılayıcıyla aynı türden bir nöron. YA DA'yı tek başına öğrenemeyen bir nöron burada nasıl doğru cevap veriyor?
3. Tuncay Bey'in fark ettiği sarı tonlu birim, kameranın gece kararlarını lambaya bakarak verdiğini kanıtlar mı? Kanıtlamıyorsa ne yapılmalı?

Yanıtlar

1. Eğitim örneği yalnız fotoğrafı ve "ezik" ya da "sağlam" etiketini taşır. Aradaki birimlerin hangi değeri üretmesi gerektiğini gösteren bir sütun yoktur; ağırlıklar yalnız çıktının doğru olması için ayarlanır ve ara birimlerin neye tepki vereceği bu ayarın yan ürünü olarak ortaya çıkar.
2. Değişen nöron değil, ona verilen girdidir. Gizli katman sıfır bir ile bir sıfır satırlarını aynı noktaya taşır ve kalan üç noktayı tek bir çizginin ayırabileceği biçimde dizer. Çıktı nöronu bu yeni uzayda yalnız o çizgiyi çizer.
3. Kanıtlamaz; birimin bir şeye tepki vermesi kararın ona dayandığını göstermez. Aynı kutular gece ve gündüz ışığında çekilip kameranın kararı karşılaştırılmalı, sonuç karnenin gece ve gündüz satırlarına yazılmalıdır.

Sonraki derse köprü

Bu derste ağırlıkları elle verdik ve gizli nöronların ne yapacağını önceden biliyorduk. Eğitimde kimse bunu bilmez: yanlışlık yalnız çıktıda görünür, çünkü doğru cevap yalnız orada yazılıdır. Ders 8.4, Geri yayılım, bu açığı kapatan yöntemi izliyor: çıktıdaki hatanın ne kadarının hangi gizli ağırlıktan geldiğini, katman katman geriye doğru nasıl paylaştıracağız?