Dönüştürücüler ve dil modelleri

Açılış

Aralığın ilk pazartesisi Hakan Bey, belediye asistanının sınama ekranına geçen ayın başvurusunu kendi eliyle yazdı: "Parktaki çeşme bozulmuş, su akıyor, çocuklar ıslanıyor." Asistan başvuruyu Park ve Bahçeler'e yönlendirdi ve vatandaşa iki cümlelik, kibar bir cevap taslağı hazırladı. On yedi yıllık modül aynı başvuruyu Su ve Kanalizasyon'a göndermişti.

Hakan Bey bir süre ekrana baktı. "Bu da bizim eski kural modülü gibi bir şey mi?" diye sordu. "Satırlarını kim yazdı? Çeşmenin parka ait olduğunu nereden biliyor?"

Onur, Hakan Bey'in iki yüz on iki satırını yazan kişinin adını bile biliyordu. Kendi asistanının arkasındaki model için ise elinde yalnız bir sağlayıcının adı, bir fiyat listesi ve kendi sınama tablosu vardı. Satır yoktu; kimse "çeşme parka aittir" diye yazmamıştı. "Kural değil" dedi, "ama nasıl olduğunu size bir cümleyle anlatamam."

Akşam defterine iki soru yazdı. Bu model kuralları kimden öğrenmeden çeşmeyi parka bağladı? Ve bu tür modeller ne zamandan beri var?

Tek fikir

Bugünkü sohbet asistanları, makine çevirisi için tasarlanmış bir sinir ağı mimarisinin internet ölçeğinde metinle "sonraki kelimeyi tahmin et" görevine eğitilmesinden, ardından insan örnekleriyle talimat izlemeye ayarlanmasından doğdu. Her aşama akıcılığı artırdı; doğruluğu ayrıca ölçmek gerekti.

Nasıl çalışır

Hikâye çeviriyle başlar, Ders 2.4'te ALPAC raporunun yakın gelecekte beklenmediğini yazdığı işle. İki bin on yedide makine çevirisinde en iyi sonuçları veren sinir ağları cümleyi kelime kelime okuyordu. Ağ her kelimede, o ana kadar okuduğunu özetleyen bir iç durumu güncelliyor, sonraki kelimeye bu özetle geçiyordu. Bedeli şuydu: yirminci kelimeyi işlemek için on dokuzuncunun bitmesini beklemek gerekir. Ders 2.5'te gördüğümüz grafik işlemciler binlerce işi aynı anda yapabilir; kelime kelime ilerleyen bir ağda o paralel gücün çoğu boşta kalıyordu.

Google'da çalışan sekiz araştırmacının o yıl yayımladığı makale bu sırayı bıraktı. Önerdikleri ağda cümledeki her kelime, aynı anda öteki bütün kelimelere bakar ve kendi anlamını kurarken hangisine ne kadar ağırlık vereceğini öğrenir. Yazarlar bu düzeneğe dikkat dedi. Sezgisi bir Türkçe cümlede görülür: "Çeşmenin yanındaki boru patlamış, onu yarın değiştirecekler." "Onu" kelimesinin neyi gösterdiğini anlamak için okur geriye dönüp çeşmeyle boruyu tartar; patlayan ve değiştirilen şey borudur. Dikkat düzeneği bu tartmayı her kelime için, bütün kelime çiftleri üzerinde, aynı anda yapar. Nasıl hesaplandığını Seviye 3'te elle izleyeceğiz; burada tarihin yönünü değiştiren tarafı önemli: hesap sıraya bağlı olmadığı için grafik işlemcilere bölünebiliyordu.

Makalenin iddiası dikkat çekecek kadar dardır. Yazarlar yinelemeli ağların doğası gereği sıralı olduğunu, bunun eğitimde paralelliği engellediğini yazar; önerdikleri mimarinin çeviri kalitesinde üstün, daha paralel ve eğitimi belirgin biçimde daha kısa olduğunu gösterirler. Denedikleri iş, İngilizceden Almancaya ve Fransızcaya haber metni çevirisidir. Kapanış bölümünde mimariyi görüntü, ses ve video gibi başka girdilere genişletmeyi planladıklarını yazarlar. Sohbet etmekten söz eden bir cümle yoktur.

Beş yıl önce görüntü yarışmasını kazanan ağ iki grafik işlemcide beş ile altı gün eğitilmişti; mimari donanımı daha iyi kullandıkça aynı bütçe daha büyük modellere yetiyordu.

Sonraki adımın fikri basittir. Çeviri için cümle çiftleri gerekir ve bunları birinin hazırlaması gerekir. Oysa internetteki her metin, hiçbir etikete ihtiyaç duymadan bir alıştırma sunar: metnin bir kısmını göster, sonra gelen kelimeyi tahmin ettir. Dönüştürücüler bu göreve, giderek büyüyen metin yığınlarıyla eğitildi. Tahmin ede ede model dilbilgisini, sık geçen bilgileri ve bir dilekçenin nasıl kurulduğunu metnin içinden toplar. Hakan Bey'in sorusunun cevabı buradadır: çeşmenin parka ait olduğunu kimse yazmadı; model belediye başvurularına, park haberlerine ve çeşme şikâyetlerine benzeyen sayısız metinden bu bağın olası olduğunu öğrendi.

Yazarlar bir sorundan başlar: o yıllarda ön eğitimli bir dil modelini yeni bir işe uyarlamak için genellikle binlerce, hatta on binlerce örnekle ince ayar gerekiyordu. İnsan ise yeni bir dil işini birkaç örnekten ya da tek bir talimattan anlayabilir. Bunu sınamak için yüz yetmiş beş milyar ayarlanabilir sayılı bir model eğittiler; kendi ifadeleriyle bu, önceki seyrek olmayan dil modellerinin hepsinden on kat büyüktü. Eğitim metninin çoğu, internetin iki bin on altı ile iki bin on dokuz arasındaki aylık taramalarından süzülmüştü: süzmeden önce sıkıştırılmış hâliyle kırk beş terabayt, süzdükten sonra beş yüz yetmiş gigabayt. Kelime sayısıyla metnin yüzde doksan üçü İngilizceydi.

Ana bulgu, modele hiçbir ayar yapmadan, yalnız soruya birkaç çözülmüş örnek ekleyerek yeni işler yaptırılabilmesiydi. Model ağırlıklarını değiştirmiyor, örneklerden işin ne olduğunu çıkarıyordu ve büyüdükçe bunu daha iyi yapıyordu. Makalenin başka bir bulgusu ise Ders 2.1'deki ayrımı yeniden önümüze koyar.

Ayırt edilemez metin doğru metin demek değildir. Makalenin sınırlılıklar bölümü modelin uzun metinlerde tutarlılığını yitirdiğini, kendisiyle çeliştiğini ve "peyniri buzdolabına koyarsam erir mi?" türünden gündelik fizik sorularında zorlandığını yazar.

Bir sorun daha vardı. Sonraki kelimeyi tahmin etmek üzere eğitilmiş bir model, kendisinden istenen işi yapmak yerine metni "olası" biçimde sürdürür. Bir soruya cevap yerine benzer beş soru daha yazabilir.

Yazarlar kırk kişilik bir etiketleyici ekibi kurdu. Ekip önce istenen davranışı gösteren örnek cevaplar yazdı, model bunlarla ayarlandı. Sonra modelin aynı soruya verdiği birkaç cevabı iyiden kötüye sıraladılar ve model bu sıralamalara göre bir kez daha ayarlandı. İnsan değerlendirmesinde bu yolla ayarlanmış bir virgül üç milyar ayarlanabilir sayılı model, yüz yetmiş beş milyarlık ayarlanmamış modele tercih edildi. Model yüz kat küçüktü; fark boyda değil, kime göre ayarlandığındaydı.

Uydurma yarıya inmişti; ortadan kalkmamıştı.

Beş yıl içinde çeviri için önerilmiş bir mimari, sohbet eden bir ürünün çekirdeği oldu.

Sahada

Nerede yanılır

Bu dersteki her aşama bir şeyi düzeltirken başka bir şeyi olduğu gibi bıraktı. Dönüştürücü eğitimi hızlandırdı; büyük dil modeli az örnekle iş yapmayı getirdi; talimat ayarı modeli soruya cevap verir hâle getirdi. Hiçbir aşamada modelin hedefi "doğruyu söyle" olmadı. Ön eğitimdeki hedef olası devamı tahmin etmekti, talimat ayarındaki hedef etiketleyicilerin tercih edeceği cevaba yaklaşmaktı. Olası bir cümle ile doğru bir cümle çoğu zaman örtüşür; örtüşmediği yerde model yanlışı aynı akıcılıkla söyler.

Yanılma en çok üç koşulda görünür. Birincisi, sorunun içinde yanlış bir varsayım olduğunda: Mert'in sorusu gibi, soru yanlışı hazır verir ve olası devam o yanlışı sürdürmektir. İkincisi, cevabın yalnız verilen metne dayanması gerektiğinde: özetteki alerji satırı gibi, sık görülen bir kalıp metinde olmayan bir bilgiyi içeri taşır. Üçüncüsü, eğitim metninde az bulunan alanlarda: yüzde doksan üçü İngilizce bir metin yığınından öğrenmiş bir model, Türkçe bir belediye mevzuatı sorusunda İngilizce kaynaklarda sık geçen bir uygulamayı Türkiye'ye aitmiş gibi anlatabilir.

Akıcılık bu üç yerde uyarı işareti vermez; tersine güven verir. Seda Hanım'ın özeti, Mert'in açıklaması da düzgün ve emin bir dille yazılmıştı. Hatayı yakalayan, cevabın dışındaki bir kaynaktı: hastanın notu, biyoloji kitabı. Bir dil modelinin cevabı ne kadar iyi yazılmışsa, onu bir dış kaynakla karşılaştırma ihtiyacı o kadar kolay unutulur.

Uygulama

Bu derste az örnekle öğrenmeyi kendi kullandığın sohbet asistanında göreceksin. Aşağıdaki sekiz başvuru uydurmadır; beklenen birim ikinci sütunda.

Sonuç iki turda aynı çıkabilir; bu da bir bulgudur. Asıl soru, örneklerin hangi başvurularda fark yarattığıdır. Bir hafta sonra aynı iki turu tekrarlarsan sonucun değişebileceğini Ders 1.7'den biliyorsun; bu yüzden tarihi ve kullandığın aracı da yaz.

Defter: "Örnekle sormak" sayfasına tarihi, aracı, iki turun eşleşme sayılarını ve sekizinci başvurunun iki turdaki akıbetini yaz. Altına, kendi işinde birkaç örnekle tarif edebileceğin bir sınıflandırma işini tek cümleyle not et.

Hata köşesi

Sorumluluk

Bir dil modelini bir kamu hizmetine koyan kişi, modelin kendini nasıl ifade ettiğine değil, kendi işinde ne sıklıkla yanıldığına göre karar vermekle sorumludur. Onur'un sınama tablosu bu yüzden asistanın dilinden önemlidir. Talimatla ayarlanmış bir model bile yanlış varsayımı kabul edebilir ve metinde olmayanı ekleyebilir; özet bir hasta dosyasına, cevap bir vatandaşa gidecekse, çıktıyı bir dış kaynakla doğrulamak çıktıyı kullanan insanın işidir. Zarar en çok, cevabın akıcılığına güvenip onu kontrol edecek bilgisi olmayan kişiye dokunur: yaşlı bir vatandaş, bir hasta, bir öğrenci.

Kapanış

1. Dönüştürücü, iki bin on yedide çeviri için önerildi; kelime kelime ilerlemek yerine her kelimenin öteki kelimelerle ilişkisini aynı anda ağırlıklandırdığı için grafik işlemcilerde paralel ve hızlı eğitilebiliyordu.
2. Aynı mimari, internet ölçeğinde metinle sonraki kelimeyi tahmin etmeye eğitilince büyük dil modelleri doğdu; insan örnekleri ve sıralamalarıyla talimat izlemeye ayarlanınca sohbet asistanlarının çekirdeği oldu.
3. Modülün örüntüsü burada tersine döndü: makale çeviriden fazlasını vaat etmedi, sonuç vaadi aştı; ama sonra gelen "insandan ayırt edilemez" sözü doğruluğu ölçmüyordu ve açık bu kez akıcılık ile doğruluk arasında açıldı.

Üç soru

1. Hakan Bey'e asistanın eski kural modülünden farkını tek cümleyle nasıl anlatırsın?
2. Dönüştürücü mimarisini ondan önceki çeviri ağlarından ayıran ve grafik işlemcilerle buluşmasını sağlayan özellik neydi?
3. Bir satıcı, dil modelinin yazdığı metinlerin "insanınkinden ayırt edilemediğini" söylüyor. Bu iddia senin kullanım kararın için ne söyler, ne söylemez?

Yanıtlar

1. Eski modülde her yönlendirmeyi bir insan bir satır olarak yazmıştı ve satırlar okunabiliyordu. Asistanın arkasındaki model ise yönlendirmeleri kimsenin yazmadığı, çok büyük metin yığınlarından öğrendiği olasılıklarla yapar; kuralı okunamaz, davranışı ancak sınanarak görülür.
2. Ondan önceki ağlar cümleyi kelime kelime işliyordu ve her adım bir öncekini beklemek zorundaydı. Dönüştürücü her kelimenin öteki bütün kelimelerle ilişkisini aynı anda hesapladığı için iş çok sayıda işlemciye bölünebiliyordu; eğitim kısaldı, aynı bütçe daha büyük modellere yetti.
3. Ayırt edilemezlik, metnin akıcılığı hakkında bir ölçümdür; iki bin yirmi deneyinde kısa haber metinleriyle ölçülmüştü. Metnin doğru olup olmadığını, senin alanındaki sorularda ne sıklıkla uydurma yaptığını ya da yanlış varsayımları düzelttiğini söylemez. Karar için kendi işinden örneklerle ölçülmüş bir hata oranı gerekir.

Sonraki derse köprü

Bu modülün her dersinde bir sistemin başarısı ya da başarısızlığı, beslendiği şeye bağlandı: elle yazılmış kurallar, etiketli fotoğraflar, internetten toplanmış metin. Ders 3.1, veri nedir sorusuyla Modül 3'ü açıyor: bir ölçümün, bir kaydın ve bir etiketin nasıl oluştuğunu ve bir modelin öğrendiği şeyin dünyanın kendisi değil, dünyadan alınmış bir kayıt olduğunu konuşacağız.