Derin öğrenmenin dönüşü

Açılış

Kasımın son cuması Hikmet Usta fabrikaya uğradı. Murat Bey'in bandındaki eski kameranın eşiğini yıllarca elle ayarlayan oydu; iki ay önce emekli olmuştu. Murat Bey onu bandın başına götürdü. Kamera son güncellemeden beri buhar aralıklı baklava kutularını da geçiriyordu.

Hikmet Usta bandı izledi, sonra sordu: "Bizim kamera da bilgisayardı. On beş yıl önce bunu neden böyle yapmadılar?" Murat Bey cevap veremedi.

Akşam tedarikçinin mühendisini aradı ve soruyu aynen aktardı. Mühendis iki şey söyledi. Birincisi, kameradaki model önce milyonlarca genel fotoğrafla eğitilmiş bir başlangıç modeliydi; fabrikanın üç bin etiketli fotoğrafı onun üstüne yapılan bir ince ayardı. İkincisi, o dört günlük eğitim, içinde birkaç grafik kartı takılı bir makinede yapılmıştı, oyun bilgisayarlarındaki ekran kartlarının büyükleriyle. "Bunlar olmadan sizin üç bin fotoğrafınız hiçbir şeye yetmezdi" dedi.

Murat Bey not defterine iki satır yazdı. Ekran kartının kutu ayıklamakla ne ilgisi var? Ve bu iş neden ancak şimdi mümkün oldu?

Tek fikir

Sinir ağı fikri yarım asırlıktı; geri planda kalmasının nedeni fikrin kendisi değil, onu besleyecek etiketli veri ve hesap gücünün yokluğuydu. İki bin on ikide ikisi aynı yarışmada buluştu ve sonuç ölçülebilir bir farkla görüldü.

Nasıl çalışır

Önce fikrin yaşını görelim. Bin dokuz yüz elli sekizde Frank Rosenblatt, ağırlıklı girdileri toplayıp bir eşikle karar veren yapay bir nöron modelini algılayıcı adıyla yayımladı. Bin dokuz yüz seksen altıda David Rumelhart, Geoffrey Hinton ve Ronald Williams, çok katmanlı bir ağın hatasını katmanlar boyunca geriye dağıtarak ağırlıkları düzeltmenin yolunu Nature dergisinde anlattı. İkisinin nasıl çalıştığını Modül 8'de elle izleyeceğiz; Hinton'ın adı yirmi altı yıl sonra bu dersin merkezindeki makalede yeniden çıkacak. Fikir hazırdı; eksik olan başka şeydi.

Bu tanımın asıl ağırlığı "kendisi öğrenen" kısmındadır. Hikmet Usta'nın eski kamerası tek bir özelliğe bakıyordu: kenar bölgesindeki koyu piksellerin oranı. O özelliği bir insan seçmişti, eşiği de bir insan ayarlıyordu. İki bin on ikiden önceki en iyi görüntü tanıma sistemlerinin çoğu da aynı iş bölümüyle çalışıyordu: araştırmacılar görüntüden kenar yönlerini ve renk dağılımlarını çıkaran özellikler tasarlıyor, öğrenen kısım yalnız bu özelliklere bakıp son kararı veriyordu. Derin bir ağ ise özellikleri de veriden öğrenir. Ağın ilk katmanı kendiliğinden kenar ve renk lekesi yakalayan küçük filtrelere dönüşür, sonraki katmanlar bunları birleştirir.

Bedeli şudur: özellikleri kendisi öğrenen ağın çok sayıda ayarı olur ve bunları ezberlemeden ayarlamak için çok sayıda etiketli örnek ile onları defalarca işleyecek hesap gücü gerekir. Uzun süre ikisi de yoktu.

Makale, İngilizce bir sözlük veritabanındaki yaklaşık seksen bin isim kavramının her birine beş yüz ile bin arası temiz fotoğraf bulmayı hedefler. Yayımlandığında veri seti, memeliden müzik aletine on iki alt ağaçta beş bin iki yüz kırk yedi kavram ve üç virgül iki milyon fotoğraf içeriyordu. Fotoğraflar internetten aranarak toplanmış, her birinin kavrama uyup uymadığına çevrim içi bir mikro iş platformunda ücretle çalışan insanlar karar vermişti; yazarlara göre denetlenen örneklerde etiketlerin ortalama yüzde doksan dokuz virgül yedisi doğruydu. Üç yıl sonra aynı veri seti on beş milyonu aşkın fotoğrafa ve yaklaşık yirmi iki bin kavrama ulaşmıştı.

İki bin on iki makalesinin yazarları, önceki etiketli görüntü setlerinin on binler mertebesinde kaldığını yazar. Murat Bey'in teknisyenleri bir haftada üç bin fotoğraf etiketledi. On beş milyon fotoğrafı aynı hızla etiketlemek için o iki teknisyenin yaklaşık beş bin hafta, yani doksan yılı aşkın bir süre çalışması gerekirdi. Verinin dönüşü, bu işin internet üzerinden çok sayıda kişiye bölünebilmesiyle geldi.

Veriden yarışma doğdu. İki bin ondan itibaren her yıl, veri setinin bin kavramlık ve yaklaşık bir virgül iki milyon eğitim fotoğraflık bir kesitiyle bir yarışma düzenlendi. Takımlar test fotoğraflarını alıyor ama etiketlerini göremiyordu; tahminlerini bir sunucuya gönderiyor, puanı düzenleyiciler hesaplıyordu. Ölçü ilk beş hatasıydı: modelin en olası gördüğü beş etiket arasında doğru etiket yoksa o fotoğraf hata sayılır. Beş tahmin hakkı tanınmasının nedeni, her fotoğrafa tek etiket konmasıydı; çilek etiketli bir fotoğrafta bir elma da olabilir ve onu söyleyen model cezalandırılmasın istenir.

İkinci bileşen donanımdı.

Bir sinir ağının eğitimindeki hesabın büyük kısmı, büyük sayı tablolarını çarpıp toplamaktır. Ekrandaki pikseller gibi bu çarpımlar da birbirinden bağımsızdır ve aynı anda yapılabilir; oyunlar için geliştirilmiş paralel hesap ağ eğitimine birebir uyuyordu.

Yazarlar girişte, bu tür ağları yüksek çözünürlüklü görüntülere büyük ölçekte uygulamanın o güne kadar aşırı pahalı olduğunu, güncel grafik işlemcilerin ve ImageNet gibi veri setlerinin bunu mümkün kıldığını yazar. Ağ tek bir kartın belleğine sığmadığı için ikiye bölünüp iki karta yayılmıştı. Sekiz katmanlı ağın ortadaki katmanlarından birini çıkardıklarında başarımın yaklaşık iki puan düştüğünü, yani derinliğin gerçekten önemli olduğunu bildirirler. Girişteki bir cümle dersin sorusuna doğrudan değer: deneylerine göre sonuçlar, yalnız daha hızlı grafik işlemcileri ve daha büyük veri setlerini bekleyerek iyileşebilirdi.

Kartın üçüncü cümlesi, Murat Bey'in mühendisinin anlattığı yolu gösteriyor: büyük bir veri setiyle önceden eğit, küçük bir işe ince ayar yap. Mühendise göre fabrikanın üç bin fotoğrafı bu yüzden yetti.

Hesap gücünün ölçeğini de elle açalım. Makaleye göre ağ, bir virgül iki milyon eğitim fotoğrafının üzerinden yaklaşık doksan kez geçti ve bu iki grafik işlemcide beş ile altı gün sürdü.

Hikmet Usta'nın sorusunun cevabı burada: on beş yıl önce fotoğraf da kamera da vardı, ama milyonlarca etiketli örnek ve onları günler içinde işleyecek paralel donanım aynı anda yoktu.

Sahada

Nerede yanılır

İki bin on iki sonucu çoğu zaman tek bir sayıyla anlatılır ve o sayının neyi ölçtüğü unutulur. İlk beş hatası cömert bir ölçüdür: model beş kez tahmin eder ve birinin tutması yeter. Aynı makalede aynı ağın ilk tahmininin doğru çıkmadığı fotoğrafların oranı, doğrulama setinde yüzde otuzun üstündedir. Murat Bey'in kamerası ise iki sınıfla çalışır, kusurlu ve sağlam. İki sınıflı bir işte "ilk iki" tahmine bakan bir ölçü her zaman sıfır hata verir; kamerada önemli olan tek bir kararın doğru olup olmadığıdır.

Sonradan gelen "makineler görüntü tanımada insanı geçti" başlıkları da bu ölçünün üzerine kuruludur.

"İnsan hatası" diye anılan sayı bir nüfusun değil, tek bir eğitimli kişinin bin beş yüz görüntüdeki sonucudur. Onu geçen bir model, o veri setinde o ölçüyle o kişiden iyidir; başka ışıkta ya da başka bir bozkırda çekilmiş fotoğraflar için bir şey söylemez.

Bir yanılma yeri de hikâyenin kendisindedir. "Veri, grafik işlemci ve yarışma birleşti" anlatımı derli topludur; ama makalenin kendisi başka katkıları da sayar: ağın daha hızlı öğrenmesini sağlayan bir nöron tipi ve ezberlemeyi azaltan yeni bir eğitim tekniği. Geriye dönüp bakınca sonuç kaçınılmaz görünür, oysa o yıl aynı veriyle çalışan başka takımlar da vardı ve onlar insan eliyle tasarlanmış özellikleri geliştirmeyi sürdürdü.

Uygulama

Bu derste ilk beş ve ilk bir hatasını elle hesaplayacaksın. Aşağıdaki tablo uydurma bir modelin on fotoğraftaki tahminleri: doğru etiket ve en olasıdan başlayarak beş tahmin.

Hesabı doğru yaptıysan ilk bir hatası yüzde altmış, ilk beş hatası yüzde yirmi çıkar. Model ve fotoğraflar aynı; yalnız ölçü değişince hata üç katına çıkıyor. "Yüzde X hata" diyen bir haberde ilk soru, hangi ölçüyle sorusudur.

Defter: "İlk beş, ilk bir" başlıklı bir sayfa aç; iki hata oranını, ikinci fotoğraf hakkındaki kararını ve iki iş için seçtiğin ölçüyü yaz. Altına, bir görüntü aracının duyurduğu başarının ölçüsünü öğrenmek için soracağın tek soruyu ekle.

Hata köşesi

Sorumluluk

Bir görüntü sistemini satın alan kişi, satıcının duyurduğu başarı oranının hangi ölçüyle, hangi veri setinde ve kimin fotoğraflarında hesaplandığını doğrulamakla sorumludur. Murat Bey'in kararı genel bir veri setindeki sonuca değil, kendi bandında ölçülmüş tek kararlık hataya dayanmalı. Büyük modellerin grafik işlemci ihtiyacı başka bir kararı da beraberinde getirir: çıkarım buluttaysa verinin nereye gittiğine ve ne kadar kaldığına karar vermek, Dr. Seda Hanım'ın örneğinde olduğu gibi, kurumun işidir. Veri setinde az temsil edilen bölgeler, türler ve insanlar sistemin en çok yanıldığı yerlerdir; zarar oraya dokunur ve orayı ölçmek, kullanmaya karar verenin görevidir.

Kapanış

1. Sinir ağı fikri yarım asırlık, çok katmanlı ağları eğitmenin yolu çeyrek asırlıktı; derin öğrenmenin dönüşünü sağlayan, milyonlarca etiketli fotoğraf ile grafik işlemcilerin paralel hesap gücünün aynı anda ortaya çıkmasıydı.
2. İki bin on iki yarışmasında derin bir ağ ilk beş hatasını yüzde on beş virgül üçe indirdi, ikinci sıra yüzde yirmi altı virgül ikide kaldı.
3. Bir başarı sayısı, ölçüsü ve veri setiyle birlikte okunur: ilk beş hatası iki sınıflı bir kamera için anlamsızdır ve "insanı geçti" cümlesi tek bir setteki iki kişilik bir karşılaştırmaya dayanır.

Üç soru

1. Hikmet Usta'nın eski kamerası ile iki bin on iki öncesinin en iyi görüntü tanıma sistemleri hangi iş bölümünü paylaşıyordu, ve derin öğrenme bu iş bölümünü nasıl değiştirdi?
2. Grafik işlemciler oyunlar için geliştirilmişken neden sinir ağı eğitimine bu kadar uygun çıktı?
3. Bir satıcı görüntü modelinin "ImageNet'te insan düzeyinde" olduğunu söylüyor. Bu iddiayı ciddiye almadan önce hangi bilgileri görmek istersin?

Yanıtlar

1. İkisinde de özelliği bir insan seçiyordu: kamerada koyu piksel oranı, eski sistemlerde araştırmacıların tasarladığı kenar yönü ve renk özellikleri. Ayarlanan kısım yalnız son karardı. Derin öğrenmede ağ, özellikleri de ham piksellerden katman katman kendisi öğrenir; bunun bedeli çok sayıda etiketli örnek ve hesap gücüdür.
2. Eğitimin hesabının büyük kısmı, birbirinden bağımsız çok sayıda çarpma ve toplamadan oluşur; tıpkı ekrandaki her pikselin rengini hesaplamak gibi. Grafik işlemciler aynı basit işlemi çok sayıda sayı üzerinde aynı anda yürütmek için tasarlanmıştı.
3. Ölçünün ilk beş mi ilk bir mi olduğunu, hangi insan sonucuyla karşılaştırıldığını (sık anılan sayı tek bir eğitimli kişiden gelir), ölçümün yılını ve en önemlisi modelin senin fotoğraflarında, senin sınıflarınla sınanıp sınanmadığını ararsın.

Sonraki derse köprü

İki bin on iki sonucu görüntüde geldi, çünkü görüntüde milyonlarca etiketli örnek ve herkesin aynı anda ölçüldüğü bir yarışma vardı. Dil için de aynı soru soruldu: internetteki metin yığını ve büyüyen grafik işlemci kümeleri bir araya geldiğinde ne olur? Ders 2.6, dönüştürücüler ve dil modelleri, iki bin on yedide yayımlanan ve dikkat adlı bir düzeneği merkeze koyan makaleden başlayıp bugün kullandığın sohbet asistanlarına uzanan yolu izliyor.