Kuraldan öğrenmeye

Açılış

İzmir'deki on iki kişilik yazılım girişiminde destek kutusuna gelen postaları pazartesi sabahları Onur ayıklıyor. Girişimin küçük işletmelere sattığı randevu uygulamasının müşterileri sorunlarını oraya yazıyor; ama son aylarda kutuya düşen her dört iletiden üçü piyango müjdesi, sahte kargo bildirimi ya da "hesabınız askıya alındı" uyarısı. Bir pazartesi Onur sabrını yitirdi ve öğle arasında küçük bir süzgeç yazdı: konu satırında ya da gövdede "kazandınız", "ücretsiz", "tıklayın", "acil" ya da "hediye" geçen ileti ayrı bir klasöre gitsin.

Salı günü kutu ferahladı. Çarşamba Onur iki kelime daha ekledi. Perşembe öğleden sonra bir diş kliniğinin sekreteri telefonda sesini yükseltti: üç gündür yazdığı iletiye kimse dönmemişti. İleti klasördeydi. Kadın "Ücretsiz deneme süremiz bitti, faturayı kimin adına keseceğiz?" diye sormuştu. Aynı hafta klasörün dışında kalan istenmeyen postalar da tuhaflaşmaya başladı: "ücr3tsiz", "kaz@ndınız", harflerin arasına nokta serpiştirilmiş "h.e.d.i.y.e".

Cuma akşamı listede otuz sekiz satır vardı. Bir kısmı bir kelimeyi yakalıyor, bir kısmı da önceki satırın yanlışlıkla yakaladığını geri bırakıyordu. Onur hangi satırın hangi iletiyi neden ayırdığını artık ezbere söyleyemiyordu. Masasının yanından geçen bir arkadaşı ekrana bakıp tek bir şey sordu: "Bu listenin sonu nerede?"

Tek fikir

Kural tabanlı bir sistemde davranışı insan tek tek yazar; makine öğrenmesinde davranış etiketli örneklerden sayılarak çıkarılır. İlki okunur ve denetlenir ama yazanın aklına gelmeyeni yakalayamaz; ikincisi örneklerde olanı bulur, örneklerde olmayanı bilmez.

Nasıl çalışır

Onur'un pazartesi yazdığı süzgeç eski ve saygın bir yöntemin küçük bir örneğidir. Her satırı bir koşul ve bir sonuçtan oluşur: şu kelime geçiyorsa, iletiyi şu klasöre koy. Bilgi programın içinde, onu yazan kişinin cümleleriyle durur.

Bu yöntemin güçlü yanları gerçektir ve küçümsenmemelidir. Kural okunur: diş kliniğinin iletisi klasöre düştüğünde Onur suçlu satırı bulabildi, "ücretsiz" kelimesiydi. Kural denetlenir: bir müfettiş, bir avukat ya da bir müşteri listeyi açıp tek tek tartışabilir. Kural bir gecede değişmez: dün nasıl çalışıyorsa bugün de öyle çalışır. Az veriyle, hatta hiç veri olmadan kurulabilir; bilen birinin bilgisi yeter.

Sorun, Onur'un perşembe ve cuma günü yaşadığı iki şeyde başlar. Birincisi istisnalardır. "Ücretsiz" kelimesi istenmeyen postada sık geçer ama gerçek müşterinin yazısında da geçer. Kuralı daraltmak için yeni bir kural, onun yanlışını düzeltmek için bir kural daha gerekir; liste büyüdükçe satırlar birbirine dolanır. İkincisi karşı taraftır. İstenmeyen postayı gönderenler süzgeci görmez ama sonucunu görür: hangi iletilerin geçtiğini ölçer, geçmeyen kelimeyi bozarak yazar. Elle yazılmış her kural, onu aşmak isteyen birine neyi değiştirmesi gerektiğini de söylemiş olur.

Bu deneyim Onur'a özgü değildir. Yirmi yıldan uzun süre önce bir programcı aynı yoldan geçip izlenimlerini uzun bir yazıya döktü.

Sayma fikrinin nasıl çalıştığını Onur'un kutusunda görelim. Onur cuma akşamı listeyi bir kenara koydu ve geçmiş iki aydan iki yığın hazırladı: kendi gözüyle istenmeyen diye işaretlediği iki yüz ileti ve gerçek müşterilerden gelen iki yüz ileti. Her ileti artık bir cevap taşıyordu.

Sonra Onur her kelime için iki yığında kaç iletide geçtiğini saydı. "Ücretsiz" istenmeyen yığındaki iki yüz iletinin altmışında, normal yığının yirmisinde geçiyordu. Yığınlar eşit büyüklükte olduğu için hesap basittir: bu kelimeyi taşıyan seksen iletinin altmışı istenmeyendir, yani kelime tek başına yüzde yetmiş beşlik bir istenmeyen olasılığı taşır. "Fatura" istenmeyen yığında dört, normal yığında yetmiş altı iletide geçiyordu; seksenin dördü, yüzde beş. "Tıklayın" ise istenmeyen yığında elli dört, normal yığında altı iletide çıktı; altmışın elli dördü, yüzde doksan.

İki kelime aynı iletide geçtiğinde bu sayılar birleştirilir. Birleştirmenin sözlü tarifi şöyle: kelimelerin istenmeyen olasılıklarını birbiriyle çarp; aynı şeyi "normal" olasılıkları, yani birden kalanları için de yap; ilk çarpımı iki çarpımın toplamına böl. Diş kliniğinin iletisinde "ücretsiz" ve "fatura" birlikte geçiyor. Yetmiş beş yüzde ile beş yüzdenin çarpımı yüzde üç virgül yetmiş beş eder; yirmi beş yüzde ile doksan beş yüzdenin çarpımı yüzde yirmi üç virgül yetmiş beş. İlkini ikisinin toplamına bölünce yaklaşık yüzde on dört çıkar. İleti normal kutuda kalır. "Ücretsiz" ve "tıklayın" taşıyan bir iletide aynı hesap yaklaşık yüzde doksan altı verir ve ileti ayrılır. Hiçbir satır "fatura kelimesi varsa ücretsizi affet" demedi; istisna, sayıların kendisinden çıktı.

Bozuk yazılmış kelimeler de aynı yoldan yakalanır. "Kaz@ndınız" istenmeyen yığında otuz iletide geçti, normal yığında hiç geçmedi. Onur o kelime için bir kural yazmadı; sayım onu kendiliğinden buldu. Graham da yazısında aynı şeyi gözler: gönderenler süzgeci aşmak için bir kelimeyi bozduğunda, bozuk biçim normal postada neredeyse hiç geçmediği için düzgün biçimden daha güçlü bir işarete dönüşür.

Bu fikir istenmeyen postadan çok daha eskidir.

Samuel'in damasında da Onur'un kutusunda da iş bölümü aynıdır. Neyin sayılacağını, hangi örneklerin toplanacağını ve sonucun hangi eşikte "istenmeyen" sayılacağını insan seçer. Kelimelerin ağırlığını ise artık sayılar belirler.

Sahada

Nerede yanılır

Sayıma dayanan bir süzgeç, kuralın düştüğü yerde düşmez; kendi yerinde düşer, ve o yer örneklerin sınırıdır. Onur'un tablosu yalnızca iki yığında gördüğünü bilir. Kargo taklidi dalgası geldiğinde tablo hata yapmadı, kendi deneyimine göre tam doğru davrandı: o kelimeler gerçekten de daha çok normal iletilerde geçmişti. Yanlış olan, deneyimin dünyayı temsil ettiği varsayımıydı.

Elif'in dosyaları başka bir sınırı gösterir. Örneklerin yanındaki cevaplar, birinin baktığı yerden gelir. Soruşturma ekibi yalnızca kuralların uyardığı dosyaları incelediyse, "sahte" işareti kuralların gördüğü sahteciliğin kaydıdır, sahteciliğin kendisinin değil. Böyle örneklerden öğrenen bir model eski kuralların aklını yeni bir kılıkta tekrarlar ve bunu "veriden öğrendim" güvencesiyle yapar.

Sayılar bazen de rastlantıyı öğrenir. Onur'un normal yığınındaki iletilerin çoğu mesai saatlerinde gelmişse ve süzgeç gönderim saatini de sayıyorsa, gece yazan gerçek bir müşteri cezalandırılabilir. Kimse "gece yazanı ayır" demedi; örnekler öyle diyordu.

Elle yazılmış kuralın hatası buna kıyasla daha görünürdür ama daha inatçıdır. Yanlış bir kural, biri fark edip düzeltene kadar aynı yanlışı her gün aynı biçimde yapar ve karşı taraf ona uyum sağladıkça etkisi sessizce azalır.

Her iki yöntemde de hatayı fark etmenin yolu benzerdir: ayrılan iletilere ve geçen iletilere düzenli aralıklarla insan gözüyle bakmak. Onur'un kurduğu düzende her hafta klasörden yirmi, kutudan yirmi ileti rastgele çekilip okunuyor. Kaçan istenmeyen ileti yeni bir dalganın, yanlış ayrılan müşteri iletisi de bir istisnanın haberini taşır.

Uygulama

Bu derste kâğıt kalemle küçük bir süzgeç kuracaksın, iki kez: önce kural yazarak, sonra sayarak. Amaç iki yöntemin nerede ayrıldığını kendi elinle görmek. Hesap tablosu kullanabilirsin ama gerekmiyor.

Alıştırma sonunda çoğu kişi iki şey fark ediyor. İlk kuralları genellikle en göze batan kelimeleri hedefliyor ve yanlışlıkla ayırdıkları normal iletiler, kural yazılırken akla hiç gelmemiş türden oluyor. Sayım ise yazanın düşünmediği küçük kelimeleri, bir bağlaç ya da bir noktalama alışkanlığını öne çıkarabiliyor. Bu ikisini kendi kâğıdında gördüysen dersin mekanizmasını görmüşsün demektir.

Defter: Bu dersin sayfasına "Kural mı, sayım mı" adını ver. Altına üç satır: kurallarınla yakaladığın ve yanlışlıkla ayırdığın ileti sayısı, sayımın bulduğu ama senin aklına gelmeyen kelime, son adımda yazdığın iletiyi hangi yöntemin yakaladığı.

Hata köşesi

Sorumluluk

Onur'un süzgeci bir diş kliniğinin iletisini üç gün sakladı. O üç günün bedelini müşterisini bekleten girişim ödedi. Kural yazan da örnek seçen de aynı soruyla karşılaşır: hangi hatayı daha az zararlı sayıyoruz? Bir istenmeyen iletinin kutuya düşmesi can sıkar; bir müşterinin sesinin kaybolması iş kaybettirir. Eşiği nereye koyacağına, ayrılan iletilere kimin ne sıklıkla bakacağına ve yeni dalgada örnekleri kimin güncelleyeceğine insan karar verir; bu kararın sorumluluğu da onu verende kalır. Sistem hangi yöntemle kurulmuş olursa olsun, çıktısını düzenli olarak doğrulamak işin olağan, her hafta tekrarlanan parçasıdır.

Kapanış

1. Kural tabanlı bir sistem, insanın açıkça yazdığı koşullarla çalışır; okunur, denetlenir, ama yazanın aklına gelmeyen durumda ve karşı taraf uyum sağladığında tükenir.
2. Makine öğrenmesinde davranış, cevabı bilinen eğitim örneklerinden çıkarılır; sayım istisnaları ve bozuk yazımları kural yazılmadan bulabilir, ama yalnızca örneklerin gösterdiği dünyayı bilir.
3. İki yöntemde de insan kararı sürer: kuralda neyin yazılacağı, öğrenmede hangi örneklerin toplanacağı, neyin sayılacağı ve eşiğin nereye konacağı.

Üç soru

1. Onur'un sayım tablosu kargo taklidi iletileri neden normal saydı ve bunu düzeltmek için ne yaptı?
2. Bir kelime istenmeyen yığındaki yüz iletinin kırkında, eşit büyüklükteki normal yığının onunda geçiyorsa, bu kelimenin istenmeyen olasılığı kaçtır?
3. Elif, soruşturma ekibinin işaretlediği dosyalarla bir model eğitmekten neden çekindi?

Yanıtlar

1. Çünkü tablo yalnızca iki yığında gördüğünü biliyordu ve kargo iletilerindeki kelimeler, "takip numarası" ve "adres" gibi, o güne kadar daha çok gerçek müşterilerin teslimat sorularında geçmişti. Tablo kendi örneklerine göre doğru davrandı; örnekler yeni dalgayı içermiyordu. Onur yeni dalgadan otuz ileti işaretleyip istenmeyen yığına ekledi ve tablo ertesi gün onları ayırmaya başladı.
2. Yüzde seksen. Kelimeyi taşıyan elli iletinin kırkı istenmeyen yığındadır; yığınlar eşit olduğu için kırkı ellinin toplamına bölmek yeterlidir. Yığınlar eşit olmasaydı önce her sayıyı kendi yığınının büyüklüğüne bölmek gerekirdi.
3. Çünkü işaretli dosyaların neredeyse hepsi eski kurallara takılmış dosyalardı; kuralların hiç uyarmadığı hasarlara kimse bakmamıştı. Bu örneklerden öğrenen bir model sahteciliğin kendisini değil, eski kuralların gördüğü sahteciliği öğrenir ve kuralların kör noktasını aynen devralır.

Sonraki derse köprü

Onur'un süzgeci kendi işinde artık oldukça iyi: destek kutusunu ayırıyor, yeni bir dalgayı birkaç düzine örnekle öğreniyor. Ama aynı tablo bir hukuk bürosunun kutusunu ayıramaz, bir başvuruyu cevaplayamaz, bir faturayı okuyamaz; her biri için ayrı örnekler, ayrı bir iş tanımı gerekir. Ders 1.3, Dar ve genel, bu ayrımı açıyor: tek bir işte iyi olan sistemle her işte iyi olduğu iddia edilen sistem arasındaki farkı ve "genel yapay zekâ" tartışmasının hangi soruların etrafında döndüğünü inceleyeceğiz.