Algılayıcı

Açılış

Mayısın ilk pazartesisi Kenan Bey, Elif'in masasına bir teklifin ikinci sayfasını açık bıraktı. Fotoğrafla hasar projesi için gelen yeni teklifti. Kenan Bey bir cümlenin altını kurşun kalemle çizmişti: "Sistemimiz katmanlarında milyonlarca yapay nöron barındıran derin bir sinir ağıdır."

"Milyonlarcasını sormuyorum," dedi. "Bir tanesi ne yapıyor? Bir tanesini bana kâğıtta gösterebilir misin?"

Elif cevap vermeden önce yan masaya baktı. Melis iki hafta önce akşamları bir derin öğrenme kursuna başlamıştı ve ilk ödevini sabah çıktı olarak getirmişti. Ödev tek bir nöron istiyordu. Görev, iki girdi de bir olduğunda bir, öteki üç durumda sıfır veren bir kural öğrenmekti. Melis tabloyu kâğıtta üç turda öğretmişti.

Elif kâğıdı Kenan Bey'e çevirdi. İlk satırı birlikte okudular: girdileri ağırlıklarla çarp, topla, sabiti ekle; sonuç sıfırdan büyükse bir yaz. Kenan Bey kalemi bıraktı. "Bu senin sahte hasar modelindeki toplam değil mi? Broşür toplantısında anlattığın?"

"Neredeyse," dedi Elif. "Benim modelim toplamı bir olasılığa çeviriyor. Bu ise toplamı kesip atıyor."

Melis sandalyesini çekti. "İkinci soruyu da görün," dedi. Ödevin ikinci sorusu aynı nöronu başka bir tabloya öğretmeyi istiyordu: girdilerden yalnız biri bir olduğunda bir, ikisi birden bir ya da ikisi birden sıfır olduğunda sıfır. Melis'in bilgisayarda yazdığı küçük program bu tablo üzerinden bin tur dönmüş, bir kez bile dört satırın dördünü birden doğru yapamamıştı.

Kenan Bey teklife yeniden baktı. "Dört satırlık bir tabloyu öğrenemeyen bir şeyden milyonlarca dizince ne değişiyor?"

Tek fikir

Bir yapay nöron girdilerin ağırlıklı toplamına bir sabit ekler ve sonucu bir kuraldan geçirir. Algılayıcı bu toplamı sıfırda keser ve yalnız yanıldığında ağırlıklarını düzeltir. Tek bir düz çizgiyle ayrılamayan bir tabloyu ise hiçbir ağırlıkla öğrenemez.

Nasıl çalışır

Ders 2.5'te bin dokuz yüz elli sekizde algılayıcı adıyla yayımlanan bir yapay nöron modelini yalnız tarihin bir durağı olarak andık ve nasıl çalıştığını bu modüle bıraktık. Önce en küçük parçayı adlandıralım.

Ders 7.4'te eşiği, eğitimden sonra bir insanın seçtiği sınır olarak tanımladık. Algılayıcıda eşiğin yeri aynıdır, ama sapma terimine dönüştüğü için ağırlıklarla birlikte öğrenilir. Eğitimden sonra sınırı kaydırmak, sapmayı elle değiştirmektir.

Melis'in ödevini Elif'in alanına taşıyalım. Ders 1.1'deki kural listesinin bir maddesi, poliçenin ilk otuz gününde gelen büyük talebi işaretliyordu. Bunu iki evet-hayır girdisi olarak yazalım: birinci girdi "poliçenin ilk otuz günü mü?", ikinci girdi "talep büyük mü?". Evet bir, hayır sıfır. Dosya ancak iki girdi de bir ise işaretlenecek. Mantıkta buna VE denir.

Başlangıçta birinci ağırlık sıfır virgül beş, ikinci ağırlık sıfır virgül üç, sapma eksi sıfır virgül bir olsun; bu sayılar rastgele seçildi. Öğrenme oranı, Ders 4.6'daki adım büyüklüğü, sıfır virgül bir. Kural sözle şöyledir: yeni ağırlık, eski ağırlık artı öğrenme oranı çarpı hata çarpı o ağırlığın girdisi. Hata, doğru cevaptan nöronun verdiği cevabın çıkarılmasıdır. Nöron bir deyip doğru cevap sıfırsa hata eksi birdir, tersi ise artı bir. Sapmanın girdisi her zaman bir sayılır. Dört satırın hepsinin üzerinden bir kez geçmeye dönem diyelim.

Birinci dönem. Sıfır sıfır satırında toplam eksi sıfır virgül birdir, cevap sıfır, doğru. Sıfır bir satırında toplam sıfır virgül üç eksi sıfır virgül bir, yani sıfır virgül iki; nöron bir diyor, doğru cevap sıfır. Hata eksi bir. Birinci girdi sıfır olduğu için birinci ağırlık değişmez; ikinci ağırlık sıfır virgül ikiye, sapma eksi sıfır virgül ikiye iner. Bir sıfır satırında toplam sıfır virgül beş eksi sıfır virgül iki, yani sıfır virgül üç; yine yanlış. Bu kez birinci ağırlık sıfır virgül dörde, sapma eksi sıfır virgül üçe iner. Bir bir satırında toplam sıfır virgül üç, cevap bir, doğru.

İkinci dönemde yalnız bir sıfır satırı yanlış kalır; toplamı sıfır virgül birdir. Bir düzeltme daha gelir. Üçüncü dönemde dört satırın toplamları eksi sıfır virgül dört, eksi sıfır virgül iki, eksi sıfır virgül bir ve artı sıfır virgül birdir. Dördü de doğru; üç düzeltmeden sonra eğitim durur. Aynı nöron VEYA tablosunu, yani girdilerden en az biri bir olduğunda bir veren tabloyu, da öğrenebilir; Uygulama'da onu sen izleyeceksin.

Ders 5.2'deki lojistik regresyonda da ağırlıklı bir toplam ve bir başlangıç değeri vardı. Fark toplamdan sonra gelir. Lojistik regresyon toplamı S biçimli fonksiyondan geçirip bir olasılık verir ve ağırlıklarını, Ders 4.6'daki gibi, kaybı azaltan yönde her örnekten biraz öğrenir. Algılayıcı toplamı sıfırda keser, olasılık vermez ve doğru bildiği örnekten hiçbir şey öğrenmez.

Eşikli nöron fikri Rosenblatt'tan on beş yıl daha eskidir.

Melis'in ikinci tablosuna dönelim. YA DA tablosunda girdilerden yalnız biri bir olduğunda cevap birdir. Dört satırı bir karenin köşeleri gibi düşün: sıfır sıfır sol alt, bir bir sağ üst köşede. VE tablosunda tek bir düz çizgi sağ üst köşeyi öteki üçünden ayırır. YA DA tablosunda ise bir verilmesi gereken iki köşe çaprazda, sıfır verilmesi gereken iki köşe öbür çaprazdadır. Hiçbir düz çizgi ikisini ayıramaz.

Algılayıcının sınırı tam olarak böyle bir çizgidir: ağırlıklı toplam artı sapmanın sıfır olduğu yer.

Ders 2.4'te etkisini tartıştığımız bin dokuz yüz altmış dokuz tarihli kitap, tek katmanlı bu makinelerin sınırlarını matematikle inceliyordu. YA DA tablosu o sınırların kâğıda sığan en küçük örneğidir.

Sahada

Nerede yanılır

Tablo düz bir çizgiyle ayrılamıyorsa algılayıcının öğrenme kuralı kendiliğinden durmaz. Melis'in ikinci ödevini aynı başlangıçla elle izleyelim. Birinci dönemde yalnız bir bir satırı yanlıştır, ağırlıklar sıfır virgül dört, sıfır virgül iki ve sapma eksi sıfır virgül ikiye iner. İkinci dönemde sıfır bir satırının toplamı tam sıfırdır, nöron sıfır der, yanlıştır; bir bir yine yanlıştır. Düzeltmeler birbirini geri alır; on birinci dönemin sonunda ağırlıklar eksi sıfır virgül bir, sıfır ve sapma sıfır virgül bir olur. On ikinci dönemden itibaren nöron her dönemde dört satırın dördünde de yanılır ve her dönemin sonunda aynı üç sayıya geri döner.

Bu durumda eğitimin ne zaman kesileceğine bir insan karar verir ve elde kalan ağırlıklar o andan ibarettir. Onuncu dönemde kesen biri eksi sıfır virgül bir, sıfır ve sıfır bulur; on birincide kesen sapmayı sıfır virgül bir bulur. Gerçek verilerde sınıflar çoğu zaman biraz iç içedir; kayıttaki son ağırlıklar bir varış değil, bir durdurmadır.

Tablo ayrılabildiğinde de bir tuzak kalır. Algılayıcı, eğitim örneklerini ayıran ilk çizgide durur; en iyi çizgiyi aramaz. VE örneğinde son ağırlıklarla bir sıfır satırının toplamı eksi sıfır virgül bir, bir bir satırınınki artı sıfır virgül birdir. Çizgi iki satırın tam yanından geçer. Girdiler sıfır ve bir yerine ölçülmüş sayılar olsaydı, eğitimde görülmemiş bir dosya çizginin yanlış tarafına kolayca düşebilirdi.

Son olarak algılayıcı ne kadar emin olduğunu söylemez. Sıfır virgül bir ile on aynı "bir"e döner. Ders 7.4'teki gibi bedele ve kapasiteye göre sınır seçmek için gereken sıralanmış olasılık burada yoktur.

Uygulama

Kâğıt kalemle Melis'in iki tablosunu sen izleyeceksin; kural Nasıl çalışır'daki gibidir. Satırları her dönemde sıfır sıfır, sıfır bir, bir sıfır, bir bir sırasıyla oku.

1. Dört satırlık bir çizelge hazırla: dönem, satır, toplam, cevap, doğru cevap, hata ve düzeltmeden sonraki üç sayı.
2. VEYA tablosu: yalnız sıfır sıfır satırı sıfır, öteki üçü bir. Başlangıçta birinci ağırlık sıfır, ikinci ağırlık sıfır virgül iki, sapma eksi sıfır virgül dört; öğrenme oranı sıfır virgül bir.
3. Hatasız bir dönem görene kadar devam et; düzeltme sayısını ve son üç sayıyı yaz.
4. Son ağırlıklarla dört satırın toplamını yeniden hesapla ve çizginin hangi satırın yanından en yakın geçtiğini işaretle.
5. YA DA tablosunda Nasıl çalışır'daki VE başlangıcıyla, yani sıfır virgül beş, sıfır virgül üç ve eksi sıfır virgül birle, üç dönem izle. Her dönemin yanlış sayısını yaz.
6. Kareli kâğıda dört köşeyi çiz ve YA DA'yı ayıracak tek bir düz çizgi bulmayı dene. Bulamadığını kanıt kartındaki dört satırlık akıl yürütmeyle kendi cümlelerinle yaz.

Sonuçlar şöyle olmalı. VEYA'da birinci dönemde sıfır bir ve bir sıfır satırları artı bir hatayla yanlıştır; ağırlıklar sıfır virgül bir, sıfır virgül üç, sapma eksi sıfır virgül iki olur. İkinci dönemde bir sıfır satırı toplam eksi sıfır virgül birle yine yanlıştır; birinci ağırlık sıfır virgül ikiye, sapma eksi sıfır virgül bire çıkar. Üçüncü dönem hatasızdır: üç düzeltme, son sayılar sıfır virgül iki, sıfır virgül üç ve eksi sıfır virgül bir. Toplamlar eksi sıfır virgül bir, sıfır virgül iki, sıfır virgül bir ve sıfır virgül dörttür; çizgiye en yakın satırlar, toplamları sıfırdan yalnız sıfır virgül bir uzakta kalan sıfır sıfır ile bir sıfırdır. YA DA'da üç dönemin yanlış sayıları bir, iki ve ikidir.

Defter: «Dört satır, bir çizgi» başlıklı bir sayfa aç. VEYA izlemeni, YA DA'nın üç dönemini ve kendi ispat cümlelerini oraya koy. Altına tek bir soru yaz: işinde gördüğün bir evet-hayır kuralı VE'ye mi, VEYA'ya mı, YA DA'ya mı benziyor?

Hata köşesi

Sorumluluk

"Milyonlarca yapay nöron" bir kalite iddiası değildir. Kenan Bey'in kararı nöron sayısına değil, sistemin şirketin kendi dosyalarında ölçülmüş hatalarına dayanmalıdır; o ölçümü istemek ve doğrulamak Elif'in sorumluluğundadır. Küçük bir algılayıcı kuran kişi de öğrenme oranını, başlangıç ağırlıklarını ve eğitimin hatasız bir dönemle mi yoksa elle hangi dönemde durduğunu kayda yazmakla sorumludur. Eşik eğitimden sonra kaydırılırsa bu da tarihiyle yazılır. Yanlış işaretlenen dosyanın sahibi bu kararların hiçbirini görmez; bedeli o taşır.

Kapanış

1. Yapay nöron, girdilerin ağırlıklı toplamına bir sapma ekleyip sonucu bir fonksiyondan geçiren hesap birimidir; adına rağmen bir beyin hücresi modeli değildir.
2. Algılayıcı toplamı sıfırda keser ve yalnız yanıldığında ağırlıkları girdi yönünde düzeltir; VE ve VEYA gibi doğrusal ayrılabilir tablolarda sonlu düzeltmeyle durur.
3. YA DA tablosunu tek bir algılayıcı hiçbir ağırlıkla öğrenemez; kural durmaz, ağırlıklar döngüye girer ve eğitimi kesme kararı bir insanda kalır.

Üç soru

1. Kenan Bey Melis'in ödevindeki toplamı Elif'in sahte hasar modeline benzetti. Benzerlik nerede, ayrılık nerede?
2. VE örneğinde eğitim üçüncü dönemde durdu. Neden bir sonraki dönemde de hiçbir şey değişmez?
3. Melis'in programı YA DA tablosunda bin dönem döndü. Daha büyük bir öğrenme oranı ya da daha uzun eğitim sorunu çözer mi?

Yanıtlar

1. İkisi de girdilerin ağırlıklı toplamına bir başlangıç değeri ekler. Lojistik regresyon bu toplamı S biçimli fonksiyondan geçirip olasılık verir ve kaybı azaltan yönde her örnekten öğrenir. Algılayıcı toplamı sıfırda keser, olasılık vermez ve yalnız yanıldığı örnekte ağırlıklarını değiştirir.
2. Kural yalnız yanlış satırlarda düzeltme yapar. Üçüncü dönemde dört satırın dördü de doğru olduğu için hata her satırda sıfırdır ve ağırlıklara eklenen miktar da sıfırdır; aynı ağırlıklarla aynı dört toplam tekrar hesaplanır.
3. Çözmez. Sorun adım büyüklüğünde değil, tablonun kendisindedir: iki çapraz köşeyi ayıracak tek bir düz çizgi yoktur, ispat hangi ağırlık seçilirse seçilsin bir satırın yanlış kalacağını gösterir.

Sonraki derse köprü

Bu derste nöronun toplamdan sonra yaptığı tek şey kesmekti; Ders 5.2'de aynı yerde S biçimli bir eğri vardı. Toplamdan sonra gelen bu adıma aktivasyon denir. Ders 8.2, Aktivasyon fonksiyonları, şu soruyu soruyor: nöronlar yalnız toplasaydı ve toplamı olduğu gibi aktarsaydı, onları üst üste dizmek YA DA tablosunu çözmeye yeter miydi, yoksa toplamdan sonra mutlaka eğilen bir fonksiyon mu gerekir?