Denetimli öğrenme

Açılış

Ocağın son salısı, sabah polikliniğinin üçüncü hastası altmış altı yaşında, on iki yıldır diyabetli bir adamdı. Hemşire göz dibi fotoğraflarını çekmiş, program sonucu ekrana yazmıştı: "Sevk gerektiren retinopati: yok." Dr. Seda Hanım fotoğraflara kendisi de baktı, hastanın şeker kayıtlarını açtı, bir sonraki göz dibi çekimini takvime yazdı.

Öğle arasında bir laboratuvar yazılımı firmasının temsilcisi sağlık merkezinin toplantı odasındaydı. Firma, kan tahlillerinden böbrek süzme değerinin altı ay sonra nereye ineceğini tahmin eden bir modül satıyordu. Temsilci sistemi denemek için sabahki hastanın son üç tahlilini girdi. Ekranda bir kutu yoktu, bir sayı vardı: altı ay sonra beklenen değer elli iki. Hastanın bugünkü değeri elli sekizdi.

Dr. Necati Bey iki ekranı da görmüştü. Temsilci çıktıktan sonra kahvesini masaya bıraktı.

"İkisi de geçmiş hastalardan öğrendi diyorlar," dedi. "Göz programına doğru cevabı göz doktorları yazmış, onu biliyoruz. Bu sayıya doğru cevabı kim yazdı?"

Seda Hanım bir süre düşündü. Sonra ikinci bir soru ekledi: "Biri 'var' ya da 'yok' diyor, öteki elli iki diyor. İkisi aynı işi mi yapıyor?"

Tek fikir

Denetimli öğrenmede model, doğru cevabı yanına yazılmış geçmiş örneklerden öğrenir. Cevap bir sınıfsa iş sınıflandırma, bir sayıysa regresyondur; ikisinde de etiketin kimden, ne zaman ve hangi bedelle geldiği modelin tavanını belirler.

Nasıl çalışır

Ders 4.1'de öğrenmeyi, girdiden çıktıya giden bir eşlemeyi örneklerden bulmak olarak ele aldık. Bu eşlemeyi bulmanın en yaygın yolu, her girdinin yanına beklenen çıktıyı yazmaktır. 3.1'de tanımladığımız etiket tam bu işi görür: fotoğrafın yanında "sevk gerekir" ya da "gerekmez", tahlilin yanında altı ay sonra ölçülen değer.

"Denetim" kelimesi bu karşılaştırmadan gelir. Öğrenme sırasında her tahminin bir cevap anahtarı vardır ve model ne kadar yanıldığını o anahtardan okur.

Denetimli bir problemi ikiye ayıran şey yöntem değil, çıktının türüdür. Göz dibi programının çıktısı önceden belirlenmiş bir listeden seçilir.

Laboratuvar modülünün çıktısı ise bir listeden seçilmez; bir ölçeğin üzerinde herhangi bir değer olabilir.

İkisinin farkı hatanın nasıl sayıldığında da görünür. Bir sınıflandırma tahmini ya doğrudur ya yanlış; yanlışlar sayılır. Bir regresyon tahmininde ise "ne kadar uzak" sorusu sorulur. Elli iki tahmin edilip kırk dokuz gerçekleşirse model üç birim yanılmıştır; kırk dört gerçekleşirse sekiz birim. İkisi de yanlıştır ama aynı ağırlıkta değildir.

Etiketin nereden geldiği, iki modülü asıl ayıran yerdir. Göz dibi fotoğrafının etiketi bir insan yargısıdır: bir göz hekimi fotoğrafa bakar ve karar yazar. Bu yargı hemen alınabilir ama pahalıdır, çünkü uzman zamanı ister, ve hekimler aynı fotoğrafta her zaman anlaşmaz. Böbrek değerinin etiketi ise bir yargı değil, gelecekte gözlenen bir sonuçtur: hasta altı ay sonra yeniden tahlil verir ve sayı kendiliğinden kayda girer. Kimse bu etiketi yazmak için mesai harcamaz, ama etiketi almak için altı ay beklemek ve hastanın o tahlile gerçekten gelmesi gerekir.

Göz dibi tarafında bu emeğin büyüklüğünü ölçen bir çalışma var.

Üç derecelendirme en düşük sayı olarak alınsa bile bu, üç yüz seksen dört bin beş yüz yirmi beş ayrı hekim kararı eder. Modelin öğrendiği şey, bu kararların toplamıdır. Etiket bir insan yargısı olduğu için model en iyi ihtimalle o kurulun yargısına yaklaşır; kurulun göremediğini göremez.

Çalışmanın bir ayrıntısı, sınıflandırmanın içinde de bir sayı yattığını gösteriyor. Model her fotoğraf için önce bir puan üretir; "sevk gerekir" kararı bu puanın bir eşiği geçmesiyle verilir. Eşiği nereye koyacağınız, modelin kendisinden değil sizin tercihinizden gelir.

Sözle söylersek: ilk eşikte sevk gerektiren her yüz görüntünün yaklaşık onu kaçar, sağlıklı her yüz görüntünün yaklaşık ikisi boşuna işaretlenir. İkinci eşikte kaçan sayısı yaklaşık iki buçuğa iner, boşuna işaretlenen ise yaklaşık yediye çıkar. Hangisinin seçileceği, kaçan bir hastanın mı yoksa gereksiz bir sevkin mi daha ağır olduğuna dair bir karardır ve bu kararı model vermez.

Regresyon tarafında da tersine bir yol vardır: bir sayıya eşik koyup onu sınıfa çevirmek. Bunun ne kaybettirdiğini küçük bir örnek gösterir. Aşağıdaki beş hasta kurgusaldır; laboratuvar modülünün altı ay önceki tahminleri ile altı ay sonra ölçülen değerler yan sütunlarda duruyor.

Farkların toplamı on sekiz, ortalaması üç virgül altıdır. Bir regresyon modeli olarak bu sayı fena görünmüyor. Şimdi merkezin, diyelim, elli altında kalan herkesi daha sık kontrole çağırmak istediğini düşünelim.

Ortalama hata küçük olsa da hatanın düştüğü yer önemlidir. Sınırdan uzak bir hastada yedi birimlik fark hiçbir kararı değiştirmez; gerçek değeri sınırın hemen altında olan P'de ise aynı fark onu çağrı listesinin dışında bırakır.

Sahada

Nerede yanılır

Denetimli bir model etiketten daha iyi olamaz; etiketin taşıdığı her şeyi, hatalarını da, öğrenir. Bu, etiketin kaynağına göre farklı biçimlerde ortaya çıkar.

Etiket bir insan yargısıysa, model o insanların ortak yargısını öğrenir. Göz hekimleri bir fotoğrafta anlaşamıyorsa modelin "doğru" cevabı, o anlaşmazlığın çoğunluk tarafıdır. Kurul belli bir ülkenin, belli bir fotoğraf makinesinin görüntülerine alışkınsa model de onlara alışır. Seda Hanım'ın sağlık merkezindeki fotoğraf makinesi farklıysa, ya da hastaların bir kısmında katarakt fotoğrafı bulanıklaştırıyorsa, kurulun hiç görmediği bir durumla karşılaşılır.

Etiket gelecekte gözlenen bir sonuçsa daha sinsi bir sorun çıkar: o sonuç, aradaki sürede yapılanlardan etkilenmiştir. Laboratuvar modülü, geçmiş hastaların altı ay sonraki değerlerinden öğrendi. Ama o hastaların bir kısmının hekimi, değerin düştüğünü görüp ilacını değiştirmiş, diyetini düzenlemiş olabilir. Model "bu hasta tedavi edilmeseydi ne olurdu" sorusunu değil, "geçmişteki hekimler ne yaptıysa sonunda ne oldu" sorusunu öğrenmiştir. Tahmin edilen elli iki, bugünkü bakım alışkanlıklarının bir yansımasıdır; bakım değişirse sayı da anlamını değiştirir.

Bir başka eksiklik, etiketin hiç oluşmadığı yerdir. Altı ay sonra tahlile gelmeyen hasta eğitim tablosuna girmez. Gelmeyenler çoğu zaman uzakta oturanlar, yatağa bağlı olanlar ya da hayatını kaybedenlerdir. Model, tahlile dönebilen hastalar üzerinden öğrenir.

Bu yanılmalar ancak etiketin tanımı açıkça yazılıysa yakalanır: kim karar verdi, kaç kişi, anlaşmazlık nasıl çözüldü, sonuç ne zaman ölçüldü, kimin sonucu hiç ölçülmedi.

Uygulama

Bu çalışmada kendi bildiğin bir alandan, aynı nesne üzerinde biri sınıflandırma, biri regresyon olan iki soru kuracak ve her birinin etiketini nereden bulacağını hesaplayacaksın. Örnek olarak ev ekmeği kullanılabilir: "Bu hamur tutacak mı?" bir sınıflandırma sorusu, "Bu hamur kaç dakikada iki katına çıkacak?" bir regresyon sorusudur. Sen kendi işinden, mutfağından, bahçenden ya da bir hobinden başka bir nesne seç.

1. Nesneyi ve onu anlatan üç ya da dört girdiyi yaz. Ekmek için un miktarı, su miktarı, maya miktarı ve mutfağın sıcaklığı olabilir.
2. Sınıflandırma sorusunu yaz ve sınıfları tek tek adlandır. Sınıflar birbirini dışlıyor mu, her nesne mutlaka birine düşüyor mu, kontrol et.
3. Regresyon sorusunu yaz ve çıktının birimini belirt: dakika, kilo, lira, santimetre.
4. Her iki soru için etiketin kaynağını yaz. Bir insan mı bakıp karar veriyor, yoksa sonuç bir süre sonra kendiliğinden mi ölçülüyor?
5. Tek bir etiketin bedelini tahmin et: kaç dakika, kimin zamanı, kaç gün bekleme, nesne bu sırada harcanıyor mu?
6. İki kişinin aynı etikete farklı cevap verebileceği bir durum düşün ve yaz.
7. Regresyon sorunu bir eşikle sınıfa çevir ("iki saatten uzun sürer mi?") ve bu çevirmede hangi bilginin kaybolduğunu bir cümleyle söyle.
8. Ders içindeki beş hastalık tabloya dön ve farkların ortalamasını kendin hesapla; sonra sınırı elliden elli beşe taşı ve sınırın altında kalan gerçek hastalardan kaçını tahminin yakaladığını yeniden say.

Kendi hesabını şununla karşılaştırabilirsin: farkların ortalaması üç virgül altıdır. Sınır elli beş olunca gerçekleşen değeri elli beşin altında olan hastalar L, N ve P'dir; tahmini elli beşin altında kalanlar L ve N'dir. Bu sınırda P yine kaçar, çünkü tahmini elli altıdır.

Defter: "Etiketin bedeli" diye bir sayfa aç ve sekiz adımın cevaplarını yaz; en alta, kendi alanında etiketi en pahalı olan soruyu ve o etiketi kimin vereceğini tek cümleyle ekle.

Hata köşesi

Sorumluluk

Bir denetimli modeli kullanmaya karar veren kişi, önce etiketin tanımını ister: kim etiketledi, kaç kişi, hangi hastalar ya da hangi kutular üzerinde, anlaşmazlık nasıl çözüldü. Seda Hanım, laboratuvar modülü için satın alma yazısına bu soruları ekledi ve tahmin edilen sayının bir tanı değil, geçmişteki bakım koşullarında gözlenen bir eğilim olduğunu not etti. Göz dibi programının "yok" demesi de yalnız eğitildiği sınıf için geçerlidir; başka bir göz hastalığını dışlamaz. Eşiğin nereye konacağı, kaçırılan bir hastanın ve gereksiz bir sevkin bedelini kimin taşıyacağına dair bir karardır ve hekimde kalır. Sonuçları doğrulamak için merkez, modülün tahminleriyle altı ay sonra ölçülen değerleri kendi hastalarında karşılaştırmayı sürdürecek; tahlile gelmeyen hastaların sayısı da bu raporda ayrı bir satır olacak.

Kapanış

1. Denetimli öğrenme, girdisi ve doğru çıktısı birlikte kaydedilmiş örneklerden öğrenir; çıktı bir sınıfsa sınıflandırma, bir sayıysa regresyondur ve hata da buna göre sayılır.
2. Etiket ya bir insan yargısından ya da gelecekte gözlenen bir sonuçtan gelir; birincisi uzman zamanına ve anlaşmazlığa, ikincisi beklemeye ve aradaki müdahalelere mal olur.
3. Sınıflandırmada eşiği, regresyonu sınıfa çevirirken sınırı seçmek bir insan kararıdır; ortalama hatanın küçük olması sınırdaki hastaların doğru ayrıldığını göstermez.

Üç soru

1. Göz dibi programı ile laboratuvar modülünün etiketleri nereden geliyor ve her birinin bedeli ne?
2. Gulshan ve arkadaşlarının modeli iki farklı eşikle çalıştırıldığında ne değişti, ve hangi eşiğin seçileceğine kim karar verir?
3. Altı ay sonraki böbrek değerini tahmin eden bir model, aradaki sürede hekimlerin yaptığı tedavi değişikliklerinden neden etkilenir?

Yanıtlar

1. Göz dibi programının etiketi, göz hekimlerinden oluşan bir kurulun fotoğraflara verdiği karardır; uzman zamanı ister ve hekimler arasında anlaşmazlık olabilir. Laboratuvar modülünün etiketi altı ay sonra ölçülen değerdir; kimse yazmak için emek harcamaz ama altı ay beklemek gerekir ve tahlile dönmeyen hastaların etiketi hiç oluşmaz.
2. Yüksek duyarlılık eşiğinde model sevk gerektiren görüntülerin daha büyük bir payını yakaladı, ama sağlıklı görüntülerin daha büyük bir payını da boşuna işaretledi. Kaçan bir hasta ile gereksiz bir sevk arasındaki tercih klinik bir karardır ve hekimlerde kalır.
3. Çünkü etiket, geçmiş hastaların gerçekte ne yaşadığıdır ve o hastaların bir kısmı değer düşmeye başladığında tedavi edilmiştir. Model tedavisiz gidişi değil, geçmişteki bakım alışkanlıklarıyla oluşan sonucu öğrenir; bakım değişirse tahmin de anlamını değiştirir.

Sonraki derse köprü

Bu dersin bütün modelleri bir cevap anahtarına dayanıyordu ve Onur'un tablosunda o anahtarı iki kişi bir öğleden sonra boyunca elle yazdı. Havale kayıtları hiç bulunamazsa, elinde yalnız binlerce başvuru metni kalırsa ne olur? Ders 4.3, Denetimsiz öğrenme, etiketsiz bir yığında bir sistemin neyi bulabileceğini ve bulduğu şeye anlamı kimin vereceğini soruyor.