Görüntü sınıflandırma

Açılış

Fotoğrafta asfaltın ortası çökmüştü ve çukurun dibinden su kaynıyordu. Başvuru sahibi altına tek cümle yazmıştı: "Sokağımız göle döndü."

Onur fotoğrafı, başvuru formuna eklenen fotoğrafları müdürlüklere ayırmak için kurduğu küçük evrişimli ağa verdi. Denemeyi en kalabalık üç müdürlükle sınırlamıştı: Fen İşleri, Su ve Kanalizasyon, Park ve Bahçeler. Ağ geçen yılın başvurularından üç bin fotoğrafla eğitilmişti; her fotoğrafın etiketi, başvurunun havale edildiği müdürlüğün adıydı.

Ekranda üç satır belirdi: Fen İşleri yüzde elli üç, Su ve Kanalizasyon yüzde kırk beş, Park ve Bahçeler yüzde iki. Onur arşive baktı. Bu başvuru geçen yıl önce Fen İşleri'ne havale edilmiş, iki gün sonra oradan Su ve Kanalizasyon'a gönderilmişti. Eğitim setine ilk havale girmişti.

Hakan Bey ekranın başına geldi. "Bu fotoğrafta iki iş var," dedi. "Boru patlamış, yol çökmüş. Neden ikisinin toplamı yüze tamamlanıyor? İkisi de doksan alamaz mı?"

Burcu başka bir fotoğraf açtı: cepte yanlışlıkla çekilmiş, neredeyse bütünüyle siyah bir kare. Ağ onu yüzde elli bir ile Park ve Bahçeler'e gönderiyordu. "Burada hiçbir şey yok," dedi Burcu. "Elli bir neyin elli biri?"

Onur kâğıda iki soru yazdı. Yüzdeler nereden geliyordu? Ağa her fotoğraf için tek bir müdürlük öğretilmişti; o tek ad, fotoğrafta olanı ne kadar anlatıyordu?

Tek fikir

Görüntü sınıflandırma, pikselleri sabit bir sınıf listesi üzerinde puanlara, softmax ile de toplamı bir olan olasılıklara çevirir. Eğitimde tek etiket bu olasılıkları geriye, filtrelere kadar biçimlendirir; etiket fotoğrafı eksik ya da yanlış anlatıyorsa ağ da onu öğrenir.

Nasıl çalışır

Ders 10.1'de evrişim katmanlarının bir fotoğrafı öznitelik haritalarına çevirdiğini gördük. Sınıflandırma ağı bu haritaları havuzlamayla küçültür, sonunda tam bağlı bir katmana verir. O katmanın her sınıf için bir çıktı birimi vardır; Onur'un ağında üç. Her birim, Ders 8.1'deki gibi ağırlıklı bir toplam ve bir sapma hesaplar ve bir ham puan verir. Puanların ölçeği serbesttir; karar için karşılaştırılabilir bir biçime girmeleri gerekir.

Hesabı kâğıt üstünde görelim. Kırık bir kaldırım fotoğrafı için ağın puanları Fen İşleri'ne iki, Su ve Kanalizasyon'a bir, Park ve Bahçeler'e sıfır virgül bir olsun. Üsteller yaklaşık yedi virgül otuz dokuz, iki virgül yetmiş iki ve bir virgül on birdir; toplamları on bir virgül iki eder. Bölünce yüzde altmış altı, yüzde yirmi dört ve yüzde on çıkar.

Bu hesaptan üç özellik okunur. Üç puanın hepsine üç eklersen sonuç değişmez: beş, dört ve üç virgül bir de yüzde altmış altı, yirmi dört, on verir, çünkü softmax yalnız puanların arasındaki farka bakar. Puanları ikiyle çarparsan, yani dört, iki ve sıfır virgül iki verirsen, sıralama aynı kalır ama ilk sınıfın payı yüzde seksen altıya çıkar; puanların ölçeği değişince olasılık da keskinleşir. En önemlisi, toplam her zaman yüzdür. Burcu'nun siyah karesinde üç puan da eksiydi: eksi iki, eksi iki buçuk, eksi üç. Hiçbir müdürlük fotoğrafa uymuyordu, ama softmax yine yüzde elli bir, otuz bir ve on dokuz dağıttı. Ağın "hiçbiri" diyecek bir çıkışı yoktu; ona sorulan soru "bu üçünden hangisi?" idi.

Eğitimde bu olasılıklar bir kayba bağlanır; en yaygını doğru etikete verilen olasılığın doğal logaritmasının eksisidir ve çapraz entropi (cross-entropy) diye anılır. Kırık kaldırımın etiketi Fen İşleri ise kayıp, yüzde altmış altının logaritmasının eksisi, yaklaşık sıfır virgül kırk ikidir. Etiket Su ve Kanalizasyon olsaydı, yüzde yirmi dörde göre, bir virgül kırk iki olurdu.

İşte etiketten piksele giden yol buradan başlar. Softmax ile bu kayıp birlikte kullanılınca, kaybın her ham puana göre eğimi çok sade çıkar: o sınıfa verilen olasılıktan, etiket o sınıfsa bir, değilse sıfır çıkarılır. Kırık kaldırımda eğimler eksi sıfır virgül otuz dört, artı sıfır virgül yirmi dört ve artı sıfır virgül on olur. Gradyan inişi eğimin ters yönüne gittiği için Fen İşleri puanı yükseltilir, öteki ikisi alçaltılır. Bu düzeltme Ders 8.4'teki geri yayılımla tam bağlı katmandan öznitelik haritalarına, oradan Ders 10.1'deki filtrelere kadar iner. Filtrelere neye bakacağını bir mühendis değil, etiket söyler.

Şimdi açılıştaki fotoğrafa dönelim. Ağ yüzde elli üç, kırk beş ve iki vermişti ve etiket Fen İşleri'ydi. Su ve Kanalizasyon puanının eğimi artı sıfır virgül kırk beştir: eğitim, fotoğraftaki patlak boruyu gören filtreleri, tam da boru patladığı için bu fotoğrafta zayıflatmaya çalışır. Tek etiket burada bilgiyi eksik bırakmakla kalmaz, doğru olan ikinci cevabı cezalandırır.

Bu alışkanlık nereden geliyor? Ders 2.5'te gördüğümüz büyük yarışma, bin sınıflık bir listeyle ve her fotoğrafa tek etiketle kurulmuştu; ilk beş hatasının icadı da bu tek etiketin yetmediği yerleri telafi etmek içindi. İki bin on iki yarışmasını kazanan ağ da bin çıkışlı bir softmax ile bitiyordu; sınıf başına bir birim, softmax ve çapraz entropi düzeni sonraki görüntü sınıflandırıcılarının varsayılanı oldu. Bir veri setinin bıraktığı miras yalnız fotoğraflar değil, sorunun biçimidir.

Bunun için softmax yerine her puana ayrı ayrı Ders 5.2'deki lojistik fonksiyon uygulanır. Kırık kaldırım puanları iki, bir ve sıfır virgül bir olunca sonuç yüzde seksen sekiz, yetmiş üç ve elli iki çıkar; toplam yüzü geçer ve bunda tuhaf bir şey yoktur. Burcu'nun siyah karesindeki eksi puanlar ise yüzde on iki, sekiz ve beş verir: üç müdürlük de "bende değil" der. Hakan Bey'in sorusunun cevabı budur: iki müdürlüğün aynı anda doksan alabilmesi için çıkışın bu biçimde kurulması gerekir.

Bir sınıflandırıcının doğruluğu bu yüzden bir fotoğraf tarifinin sayısıdır; kimin hangi fotoğrafı onayladığı, sayıyı on puan oynatabilir.

Sahada

Nerede yanılır

Softmax'ın verdiği yüzde yetmiş, "bu fotoğraf yüzde yetmiş ihtimalle Fen İşleri'nin işi" demek değildir; "üç seçenek arasında ağırlığın yetmişi buraya düştü" demektir. Liste dışı bir fotoğrafta da ağırlık dağıtılır ve puanların ölçeği büyüdükçe keskinleşir. Hülya Hanım'ın şeffaf paketlerinde olduğu gibi, ağ hiç görmediği bir şeye en emin cevabını verebilir. Bu sayının gerçek sıklığa ne kadar uyduğu, Ders 7.5'teki kalibrasyon sorusudur ve ayrıca ölçülür.

İkinci yanılma etikettedir.

Ders 3.1'de yarışmanın doğrulama setindeki fotoğrafların yaklaşık yüzde altısının hatalı etiket taşıdığını görmüştük. Aynı sete başka bir ekip başka bir soruyla baktı.

Sınama seti gürültülüyse yüksek doğruluk, ağın etiketleyicinin alışkanlığını da öğrendiği anlamına gelebilir. Onur'un setinde etiket ilk havaleydi; ağ, memurun ilk bakışta hangi müdürlüğü seçtiğini öğreniyordu, hangi müdürlüğün işi bitirdiğini değil.

Uygulama

Hesap makinesinde üs tuşuyla, yani e üzeri x tuşuyla üç fotoğrafın çıktısını iki yolla hesaplayacaksın, sonra yazılı betimlemeleri tek ve çok etiketle işaretleyeceksin.

1. Kâğıda üç satır aç: A, B ve C fotoğrafları. Sınıflar her satırda aynı sırada: Fen İşleri, Su ve Kanalizasyon, Park ve Bahçeler.
2. A'nın puanları iki, bir, sıfır virgül bir. B'nin dört, iki, sıfır virgül iki. C'nin eksi iki, eksi iki buçuk, eksi üç.
3. Her puanın üstelini al, satırın üstellerini topla, her üsteli toplama böl. Bu softmax'tır.
4. Aynı puanların her biri için ayrıca bir bölü, bir artı eksi puanın üsteli hesabını yap. Bu lojistik fonksiyondur.
5. Şimdi altı betimlemeyi işaretle: devrilmiş bir ağacın kırdığı su sayacı; çocuk parkında çökmüş kaldırım taşı; boş bir yol, hiçbir hasar yok; taşmış çöp konteynerinin yanında kırık bank; yağmurda göle dönmüş alt geçit; fıskiyesi kırılmış süs havuzu.
6. Her betimleme için önce tek bir müdürlük seç. Sonra uyan bütün müdürlükleri işaretle ve hiçbiri uymuyorsa bunu ayrıca yaz.

A satırında softmax yüzde altmış altı, yirmi dört, on; lojistik seksen sekiz, yetmiş üç, elli iki çıkmalı. B satırında softmax seksen altı, on iki, iki. C satırında softmax elli bir, otuz bir, on dokuz; lojistik on iki, sekiz, beş. Betimlemelerde kaç tanesinin tek etikete sığmadığını say ve tek etiket seçerken neye göre seçtiğini, aklına ilk geleni mi, işi bitireceğini düşündüğün müdürlüğü mü, bir cümleyle yaz. Bu cümle, eğitim setindeki etiketlerin nasıl doğduğunun küçük bir örneğidir.

Defter: "Yüz kime dağıldı" diye bir sayfa aç; A, B ve C satırlarını iki çıktıyla yaz, C satırının yanına iki yöntemden hangisinin "hiçbiri" diyebildiğini not et. Altına tek etikete sığmayan betimlemelerin sayısını ve kendi seçim ölçünü ekle.

Hata köşesi

Sorumluluk

Sınıf listesini ve etiketin ne anlama geldiğini model değil, sistemi kuranlar belirler. Onur'un ağında etiketin "ilk havale" mi "işi bitiren müdürlük" mü olacağına Hakan Bey ve müdürlük amirleri karar vermeli; Ders 7.2'de iki müdürlüğe birden havalenin meclis onayına bağlandığını hatırlarsak, çok etiketli bir çıkışın kullanılması da aynı onaydan geçer. Burcu'nun sınama seti, etiketlerin bir bölümünü iki kişiye bağımsız olarak verip uyuşmazlığı ölçmeden doğrulanmış sayılmaz. Liste dışı fotoğraflar için "memura aktar" yolu açık kalır. Yanlış bir etiketin bedelini, patlak borusu iki gün Fen İşleri'nde bekleyen sokak öder.

Kapanış

1. Görüntü sınıflandırma, evrişimle çıkarılan öznitelikleri sınıf başına bir ham puana çevirir; softmax bu puanların üstellerini toplamlarına bölerek toplamı bir olan olasılıklar verir ve yalnız puanlar arasındaki farka bakar.
2. Eğitimde tek etiket, çapraz entropi ve geri yayılımla filtrelere kadar iner; fotoğrafta ikinci bir doğru varsa onu bastırır. Çok etiketli sınıflandırma her sınıfı ayrı bir evet ya da hayır sorusu yapar ve "hiçbiri" demeye yer bırakır.
3. Yarışma setlerinin bıraktığı miras sabit sınıf listesi, tek etiket ve tek bir sınama setidir; aynı tarifle toplanmış yeni fotoğraflarda doğruluk on puandan fazla düşebilir, etiket gürültüsü de ölçülen başarıyı etiketleyicinin alışkanlığına bağlar.

Üç soru

1. Hakan Bey "iki müdürlük de doksan alamaz mı?" diye sordu. Softmax kullanan bir ağda neden alamaz ve hangi değişiklikle alabilir?
2. Açılıştaki fotoğrafta etiket Fen İşleri'ydi ve Su ve Kanalizasyon'a yüzde kırk beş verilmişti. Eğitim bu fotoğrafta Su ve Kanalizasyon puanına ne yapar, bu neden bir sorundur?
3. Recht ve arkadaşlarının yeni sınama setinde modellerin sıralaması korunurken doğruluk neden düştü ve bu bir satın alma kararında ne anlama gelir?

Yanıtlar

1. Softmax olasılıkları birbirine bağlar: toplamları her zaman birdir, biri yükselince ötekiler düşer. İki müdürlüğün aynı anda yüksek olasılık alması için her puana ayrı lojistik fonksiyon uygulayan çok etiketli bir çıkış ve eğitim setinde de birden fazla etiket gerekir.
2. Kaybın Su ve Kanalizasyon puanına göre eğimi artı sıfır virgül kırk beştir; gradyan inişi bu puanı düşürür ve boruyu gören filtreleri zayıflatmaya çalışır. Fotoğrafta boru gerçekten patlamış olduğu için ağ doğru bir bilgiyi bastırmayı öğrenir.
3. Yeni fotoğraflar aynı tarifle toplansa da etiketleyicilerin daha zor onayladığı örnekleri daha çok içeriyordu; doğruluk fotoğrafların nasıl seçildiğine duyarlıdır. Sıralama, hangi modelin daha iyi olduğunu söyleyebilir; o modelin senin fotoğraflarında kaç puan alacağını söylemez, onu kendi verinle ölçmen gerekir.

Sonraki derse köprü

Sınıflandırma bir fotoğrafa "burada çökme var" der; çökmenin fotoğrafın neresinde olduğunu, kaç tane olduğunu ve hangi piksellerin çukura, hangilerinin suya ait olduğunu söylemez. Çok etiketli çıkış bile iki işin varlığını bildirir, yerini bildirmez. Ders 10.3, Nesne tespiti ve bölütleme, aynı fotoğrafa üç ayrı soru soruyor: ne var, nerede ve hangi pikseller.