Pekiştirmeli öğrenme

Açılış

Şubatın ikinci haftası, yeni dönemin ilk kulüp saatiydi. Zeynep Hanım'ın danışmanı olduğu akıl oyunları kulübünde satranç takımları eksikti; o da masaya güzün fasulye deneyinden artan on beş kuru fasulyeyi döktü. Kural kısaydı: sırayla bir, iki ya da üç tane alınır, son taneyi alan kazanır. Kazanan tahtaya bir çizgi çeker, başka puan yoktur.

Berk ile Mert beş oyun oynadı. Berk dördünü aldı. Mert'in kaybettiği son oyunda masada dört fasulye kalmışken sıra ondaydı; iki tane aldı, Berk kalan ikiyi süpürdü.

"Son hamlede bir almalıydım," dedi Mert.

Elçin masanın kenarından itiraz etti. Bir alsa Berk üçünü alırdı, üç alsa Berk sonuncuyu. Dört fasulyeyle sıra kime geldiyse o kaybediyordu. Hata daha önceydi. Ama nerede? Mert oyunun başını hatırlamıyordu. Beş oyunda belki kırk hamle yapılmıştı ve tahtada yalnız beş çizgi vardı.

Berk'e nasıl kazandığını sordular. Omuz silkti: "Bir süredir oynuyorum, bazı sayılarda sıranın bende olmasını sevmiyorum." Kuralı söyleyemiyordu ama davranışı kuralı biliyordu.

Zeynep Hanım tahtadaki çizgilerin yanına bir soru yazdı: "Bu çizgi oyunun sonunda geldi. Hangi hamlenin hakkı?"

Tek fikir

Bu öğrenmede sisteme doğru hamle söylenmez; yalnız sonucun ne kadar iyi olduğunu gösteren bir sayı gelir, çoğu zaman da geç gelir. Sistem o sayıyı büyüten davranışı denemeyle bulur; neyin sayılacağını ise sayıyı yazan insan seçmiştir.

Nasıl çalışır

Kulüp masasında üç şey vardı. Masadaki fasulye sayısı oyunun o anki durumuydu. Bir, iki ya da üç tane almak, o durumda seçilebilecek eylemlerdi. Tahtadaki çizgi de oyunun sonunda gelen sonuçtu. Etiketli bir örnekte her satırın yanında doğru cevap yazar; burada hiçbir hamlenin yanında "doğrusu üçtü" yazmıyordu. Mert'in elinde yalnız kazandı ya da kaybetti vardı.

Karşılığın adı bellidir.

Kulüpte ödül kazanana bir, kaybedene sıfırdı. Bir oyun salonu programında ödül ekrandaki skor olabilir, bir fabrikada saatteki sağlam kutu sayısı. Sayının ne olduğu sistem için önemsizdir; önemli olan sayıdır, çünkü sistem başka hiçbir şey görmez.

Sistemin öğrendiği şeyin de bir adı var.

Berk'in "bazı sayılarda sıranın bende olmasını sevmiyorum" dediği şey bir politikaydı. Fasulye oyununun kusursuz politikası bilinir: rakibe her seferinde dördün katı kadar fasulye bırakmak. On beşle başlayan oyunda ilk oyuncu üç alıp on iki bırakırsa, sonra her seferinde rakibinin aldığını dörde tamamlayarak kesin kazanır. Berk bunu kimseden duymamıştı; kaybettiği ve kazandığı oyunlardan sezmişti.

Öğrenmenin nasıl yürüdüğünü küçük bir sayılı örnek gösterir. Ertesi hafta Zeynep Hanım iki bez torba getirdi. A torbasında on boncuğun dördü, B torbasında altısı kırmızıydı, ama sınıf bunu bilmiyordu. Her turda bir torbadan bir boncuk çekiliyor, renk okununca boncuk geri atılıp torba sallanıyordu. Kırmızı bir puandı. Sınıf her torba için o ana kadarki ortalama puanı tahmin olarak tuttu ve tahmini her çekilişten sonra şöyle güncelledi: yeni tahmin, eski tahmine, gelen puanla eski tahmin arasındaki farkın o torbanın kaçıncı çekilişi olduğuna bölünmüşünü ekler. Bu, bütün puanları baştan toplayıp bölmekle aynı sonucu verir.

Berk'in önerdiği kural basitti: iki torbayı birer kez dene, sonra hep tahmini yüksek olanı çek.

Üçüncü turda A'nın tahmini birden yarıma iner: bir, artı sıfır eksi birin ikiye bölümü. Dördüncü turda yarım, artı bir eksi yarımın üçe bölümü, yani üçte iki olur. On turun sonunda A dokuz kez çekilmiş ve dört puan vermişti. B bir kez çekilmiş, şanssız bir beyaz boncuk getirmiş ve tahmini sıfırda kalmıştı. A'nın tahmini hiç sıfıra düşmediği için kural B'ye bir daha dönmedi. Sınıf daha iyi torbayı ikinci turda gömmüştü.

Elçin kuralı değiştirdi: beşinci ve onuncu turda bilerek tahmini düşük torbayı çek. Aynı boncuk sırasıyla bu sınıf beşinci turda B'den kırmızı aldı, B'nin tahmini yarıma çıktı ve yedinci turdan sonra A'yı geçti. On tur sonunda Elçin'in kuralı beş puan topladı, B'yi dört kez denedi ve iki tahmin yarımda eşitlendi. On tur hangi torbanın iyi olduğunu söylemeye yetmedi; ama soru açık kaldı, Berk'in kuralında kapanmıştı.

Sutton ve Barto buna keşif ile sömürü ikilemi der. Ödül toplamak için iyi bildiğin eylemi seçmen gerekir; daha iyisini bulmak için de denemediğin eylemi. İkisinden yalnız birini yapan sistem başarısız olur. Etiketli öğrenmede bu soru hiç doğmaz, çünkü örnekleri sistem seçmez; burada sistemin göreceği veri kendi seçimlerine bağlıdır.

Fasulye oyunu ikinci zorluğu ekler: ödül geç gelir. Kitap, bir başarının payını ona katkı vermiş olabilecek pek çok karar arasında dağıtma sorununu Marvin Minsky'nin bin dokuz yüz altmış bir tarihli makalesine bağlar ve 1.2'de andığımız dama programını bu soruya getirilen erken çözümler arasında sayar. En kaba çözüm, kazanılan oyundaki her hamleye biraz pay, kaybedilen oyundaki her hamleye biraz kusur yazmaktır. Tek oyunda bu haksızdır: Mert'in son hamlesi suçsuzdu. Yüzlerce oyunda ise iyi hamleler kazanılan oyunlarda daha sık bulunur ve pay yavaş yavaş doğru yere birikir.

Etiketli örnekle öğrenmek ile ödülden öğrenmek aynı sistemde birleşebilir.

Sahada

Nerede yanılır

Sistem ödülü büyütür, ödülün temsil etmesi istenen şeyi değil. Onur'un beğeni düğmesi memnuniyeti ölçer; doğru masaya yönlendirmeyi ölçmez. Murat Bey'in sağlam kutu sayısı, kameranın gece vardiyasındaki fazla retlerini de içinde taşır. Sayı ile amaç arasında bir boşluk varsa, deneyerek öğrenen bir sistem o boşluğu er geç bulur, çünkü yaptığı tek şey sayıyı büyütecek eylemleri aramaktır. Sistemin ödülü hedeflenmeyen bir yoldan toplaması Modül 33'te kendi dersinde ele alınacak.

İkinci yanılma, sistemin hangi çevrede öğrendiğidir. Politika, karşısındaki dünyaya göre biçimlenir. Fasulye oyununda bunu hesapla görmek mümkün.

Rastgele oynayan rakiplere karşı öğrenen bir sistem, ilk hamledeki farkı ancak seksen bir oyunda bir görür ve yüzlerce oyun oynamadan ayıramaz. Berk'in karşısına geçtiğinde aynı fark her oyunu belirler. Eğitim çevresinde iyi görünen politika başka bir çevrede çöker; sistemin bunu kendiliğinden bilmesinin yolu yoktur.

Üçüncü yanılma gecikmenin içindedir. Ödül ne kadar geç gelirse, pay o kadar çok kararın arasında dağılır ve yanlış kararlara da pay düşer. Seda Hanım'ın üç aylık tansiyon ölçümü, aradaki her şeyi taşır: ilacı, diyeti, mevsimi, hastanın ilacı gerçekten içip içmediğini.

Bu yanılmalar ancak sistemin ne yaptığına bakılarak görülür. Ödül eğrisinin yükselmesi yetmez; öğrenilmiş politikanın seçtiği eylemler örnek örnek açılır ve bir uzman "bu eylem amaca hizmet ediyor mu?" diye okur.

Uygulama

Bu çalışmada iki seçenekli bir deneme yanılma oyununu kâğıt kalemle oynayacak, iki farklı politikayla puan toplayacak ve keşfin neye mal olduğunu kendi tablonda göreceksin. Bir zar ve kareli bir sayfa yeter.

1. Kuralları yaz: A kolunu seçersen zarı at, beş ya da altı gelirse bir puan; B kolunu seçersen dört, beş ya da altı gelirse bir puan. Yanında biri varsa kuralları o koysun ve sana yalnız puanı söylesin; yoksa kuralları bil ama tahmin sütununda yalnız kendi atışlarına güven.
2. Beş sütunlu bir tablo çiz: tur, seçilen kol, puan, A tahmini, B tahmini.
3. İlk iki turda A'yı ve B'yi birer kez dene. Her atıştan sonra yalnız seçtiğin kolun tahminini güncelle: yeni tahmin, eski tahmine, puanla eski tahmin arasındaki farkın o kolun deneme sayısına bölünmüşünü ekler.
4. Açgözlü politika: yirmi tur boyunca hep tahmini yüksek kolu seç, eşitse A'yı. Toplam puanını ve her kolu kaç kez seçtiğini yaz.
5. Yeni bir tablo aç ve yirmi turu baştan oyna; bu kez dördüncü, sekizinci, on ikinci, on altıncı ve yirminci turda bilerek tahmini düşük kolu seç.
6. İki tabloyu karşılaştır: hangi turda hangi kolun tahmini öne geçti, açgözlü politika bir kola takılıp kaldı mı, keşif kaç puana mal oldu?
7. Hep bildiğin seçeneği seçtiğin bir kararı yaz ve öbür seçeneği bir kez denemenin neye mal olacağını tek cümleyle ekle.

Sonucunu şununla karşılaştırabilirsin. Kuralları bilen biri için B atışların yarısında, A üçte birinde puan verir; yirmi turda hep B seçen ortalama on, hep A seçen altı ile yedi arasında puan toplar. İlk B atışın boş gelirse açgözlü politikan B'ye bir daha dönmez: B'nin tahmini sıfırda kalır, A'nınki sıfırın altına inemez, eşitlikte de A seçilir. Berk'in kuralı torbalarda tam bunu yapmıştı. Yirmi tur iki kolu ayırmaya çoğu zaman yetmez; tahminlerin birbirine yakın kalması da bir sonuçtur.

Defter: "Ödülü kim yazdı?" başlıklı bir sayfa aç; iki tablonun toplam puanlarını ve yedinci adımdaki kararını yaz, altına o karar için ödül diye neyi saydığını ve o sayının neyi ölçmediğini ekle.

Hata köşesi

Sorumluluk

Ödülü yazan kişi, sistemin neyi iyi sayacağına karar vermiş olur. Murat Bey'in sözleşmesinde, Onur'un düğmesinde ve Seda Hanım'ın broşüründe asıl soru buydu ve hiçbirinde sistem bu soruyu kendisi soramazdı. Keşfin bedeli de birilerinin üzerine düşer: bozulan levha fabrikaya, yanlış masaya giden başvuru vatandaşa, denenmiş bir doz hastaya. Bu yüzden gerçek dünyada denemeye izin verme kararı, o bedeli taşıyacak alanı bilen kişide kalır ve sınırları yazılı olur. Öğrenilmiş bir politikayı devreye almadan önce onun seçtiği eylemleri bir uzmanın tek tek okuyup doğrulaması gerekir; ödül eğrisinin yükseldiğini gösteren bir grafik bunun yerini tutmaz.

Kapanış

1. Pekiştirmeli öğrenmede sistem durumlara göre eylem seçer, ardından bir ödül alır ve ödülü zamanla büyüten politikayı deneyerek bulur; hangi eylemin doğru olduğu ona hiç söylenmez.
2. Bildiği iyi eylemi seçmekle denemediği eylemi keşfetmek arasında bir denge kurmak zorundadır ve ödül geç geldiğinde payı pek çok karar arasında dağıtması gerekir.
3. Sistem ödülü büyütür, amacı değil; neyin ödül sayılacağı, gerçek dünyada denemeye izin verilip verilmeyeceği ve öğrenilen politikanın denetimi insan kararıdır.

Üç soru

1. Torba örneğinde Berk'in kuralı neden daha iyi olan B torbasına bir daha dönmedi?
2. Fasulye oyununda rastgele oynayan rakiplere karşı öğrenen bir sistem neden ilk hamlesinin önemini yüzlerce oyun boyunca fark etmeyebilir?
3. Onur neden beğeni düğmesini asistanın ödülü yapmadı?

Yanıtlar

1. B'nin tek denemesi şanssız bir beyaz boncukla sıfırda kaldı, A'nın tahmini ise hiç sıfıra düşmedi. Kural yalnız tahmini yüksek torbayı seçtiği için B'nin tahminini düzeltecek yeni bir çekiliş hiç olmadı. Keşfetmeyen bir politika, erken bir şanssızlığı kalıcı bir yargıya çevirir.
2. Rastgele rakibe karşı bir ya da iki alıp sonra iyi oynamak oyunların yüzde doksan sekiz virgül sekizini kazandırır, üç almak hepsini. Fark seksen bir oyunda bir görülür; seyrek gelen bir fark ancak çok sayıda oyunda ayrılır. Kusursuz bir rakibe karşı ise aynı fark her oyunu belirler.
3. Memura aktarılan başvurularda memnuniyet düşüktü, çünkü zor ve öfkeli başvurular aktarılıyordu. Tıklamayı büyütmeye çalışan bir sistem aktarmayı azaltmayı öğrenebilir ve memur gerektiren başvuruları yanlış yerde bırakabilirdi. Düğme ölçüm olarak kaldı, karar kural katmanında ve insanlarda.

Sonraki derse köprü

Torbalarda kırmızı boncuk bir puandı, ama bu bir seçimdi; Zeynep Hanım beyazı da sayabilirdi. Etiketli örnekle öğrenen bir sistemin de bir sayıya ihtiyacı vardır: tahmini doğru cevaptan ne kadar uzaktı? Bu uzaklığı nasıl ölçtüğümüz, büyük bir hatayı küçük bir hatadan ne kadar ağır saydığımızı belirler. Ders 4.5, Kayıp fonksiyonu, yanlışın sayıya nasıl çevrildiğini ve neyin iyi sayılacağının nasıl seçildiğini ele alıyor.