Ölçek yasaları

Açılış

Kenan Bey teklif dosyasını Elif'in masasına açık bıraktı. Bir yazılım firması, şirketin eksper raporları ve ihbar notlarıyla bir dil modeli eğitip her yeni dosya için ilk özet taslağını yazdırmayı öneriyordu. Fiyat aynı kalmak kaydıyla iki paket vardı. Büyük pakette model sekiz yüz milyon ayarlanabilir sayı taşıyacak ve son iki yılın notlarıyla, yaklaşık yarım milyar kelime parçasıyla eğitilecekti. Dengeli pakette model dört kat küçük olacak, on yıllık arşivin taranıp temizlenmesiyle dört kat fazla metin görecekti.

Firma büyük paketi öneriyordu. Gerekçe dördüncü sayfadaki tek bir grafikti: yatay eksende model büyüklüğü, dikey eksende kayıp. Dört nokta cetvelle çekilmiş gibi bir doğrunun üstüne diziliyordu ve doğru, son noktanın ötesine kesikli çizgiyle uzatılmıştı. Kesikli çizginin ucunda büyük paketin adı yazıyordu.

"Çizgi dümdüz," dedi Kenan Bey. "Düz bir çizgiyi uzatmanın nesi yanlış olabilir? Hem büyük olan daha iyi öğrenmez mi?"

Elif eksenlerin işaretlerine baktı. İki eksende de her çentik bir öncekinin on katıydı. Son ölçülmüş nokta ile kesikli çizginin ucu arasında yüz kat vardı. Dikey eksende yalnız "kayıp" yazıyordu; özetlerin doğruluğundan söz eden tek satır yoktu.

Tek fikir

Veri, model büyüklüğü ve hesap arttıkça kayıp, ölçülen aralıkta düzgün bir kuvvet yasasıyla düşer. Bu düzen sabit bir bütçeyi model ile veri arasında bölmeye yarar; ölçülen aralığın dışını ve görevdeki başarıyı ise kendiliğinden söylemez.

Nasıl çalışır

Ders 4.5'te kaybı, modelin tahminleriyle doğru cevaplar arasındaki farkı tek sayıya indiren ölçü olarak tanımladık. Dil modellerinde bu sayı, modelin metinde sıradaki parçaya ne kadar olasılık verdiğinden hesaplanır; doğru parçaya yüksek olasılık veren model düşük kayıp alır. Bir araştırmacı aynı mimariden farklı boylarda onlarca model eğitip her birinin ayrılmış metindeki kaybını ölçtüğünde sorulacak soru açıktır: büyüklük ile kayıp arasında bir düzen var mı?

Tanımdan hemen bir sonuç çıkar: kuvvet yasası düz eksenli bir grafikte eğri, logaritmik eksenli bir grafikte doğrudur. İki eksenin de logaritması alındığında üs doğrunun eğimi olur. Açılıştaki grafiğin dümdüz görünmesinin nedeni budur. Kazanç da katla ölçülür, adımla değil. Model büyüklüğünü bir milyondan iki milyona çıkarmak ile bir milyardan iki milyara çıkarmak kaybı aynı oranda azaltır.

Bu düzeni dil modellerinde en geniş biçimde ölçen çalışma iki bin yirmi tarihlidir.

Bu üsler küçüktür ve küçüklükleri sezgiyi şaşırtır. Aynı üsle hesap şöyle yürür:

Model on kat büyüyünce kayıp yaklaşık yüzde on altı düşer. Yalnız model büyüklüğüyle kaybı yarıya indirmek için büyüklüğün yaklaşık dokuz bin katına çıkması gerekir. Bu hesap, ölçeğin neden bu kadar pahalı olduğunu da açıklar.

Düzen dil modellerine özgü görünmüyor. Kaplan'dan iki yıl önce bir araştırma grubu dört alanda öğrenme eğrilerini ölçmüştü.

Bu taban dersin geri kalanı için önemlidir: kayıp sıfıra inmez. Metnin kendisinde, en iyi modelin de bilemeyeceği bir belirsizlik payı vardır.

Ölçek yasaları asıl bir bütçe sorusuna cevap verdiği için değerlidir. Eğitimin toplam işlem sayısı kabaca parametre sayısı ile görülen kelime parçası sayısının çarpımıyla büyür. Bütçe sabitse, modeli büyütmek modelin göreceği veriyi azaltır. Açılıştaki iki paket tam olarak budur: sekiz yüz milyon çarpı yarım milyar, iki yüz milyon çarpı iki milyarla aynı sonucu verir.

Küçük modelin bir yararı daha var: eğitildikten sonra her kullanımda daha az hesap ister. Elif'in sorusu için bu, bir dosya özetinin maliyeti demektir.

Sahada

Nerede yanılır

Ölçek yasası bir ölçüm aralığının özetidir ve en sık o aralığın dışında yanılır. Kaplan ve arkadaşları en büyük modellerinde eğriden bir sapma görmediklerini yazar ama hemen ardından kaybın sıfıra varmadan bir yerde düzleşmesi gerektiğini ekler. Hestness ve arkadaşlarının taban bölgesi de budur. Logaritmik eksende düz giden bir doğru, tabana yaklaşırken yavaşça bükülür; ilk birkaç nokta bu bükülmeyi göstermez. Açılıştaki kesikli çizgi son noktanın yüz kat ötesine uzanıyordu; o aralıkta tek bir ölçüm yoktu.

Ölçek yasası, onu ölçen deneyin ayarlarını da taşır. Kaplan ve arkadaşları ek hesabın büyük kısmının modele gitmesini önermişti: hesap on katına çıkınca model beş buçuk, veri yalnız bir virgül sekiz katına. Hoffmann ve arkadaşları aynı soruda model ile veriyi eşit büyüttü ve farkın bir kaynağını gösterdi: önceki çalışmada bütün modeller aynı uzunlukta bir öğrenme oranı takvimiyle eğitilmiş, bu da az veriyle eğitilen modellerin kaybını olduğundan yüksek göstermişti. Dikkatli iki ölçüm aynı soruya ayrı bölüşümlerle cevap verdi. Üsler mimariye, verinin diline ve kelime parçalarına bölünme biçimine de bağlıdır; Kaplan ve arkadaşları sabitlerin bu yüzden temel bir anlam taşımadığını kendileri yazar. İngilizce web metniyle ölçülmüş bir üs, Türkçe eksper notlarına ancak yeniden ölçülerek taşınır.

Kayıp ile görevdeki başarı arasındaki uzaklık ayrı bir yanılgı kaynağıdır. Kayıp düzgün düşerken tam doğruluk isteyen bir ölçüt birden sıçrayabilir.

Uygulama

Bir hesap tablosunda, dersin verdiği dört ölçümden bir ölçek çizgisi kuracak, onu iki yoldan uzatacak ve iki tahminin neden ayrıldığını göreceksin. Sayılar bir öğrenme deneyinin kurgusal ölçümleridir; birim önemli değil, oranlar önemli.

1. A sütununa model büyüklüklerini yaz: bir, on, yüz, bin. B sütununa ölçülen kayıpları yaz: on, altı, dört, üç.
2. C sütununda her kaybı bir öncekine böl. Kuvvet yasası doğruysa bu oranlar aynı çıkmalı.
3. D sütununda kayıpların on tabanında logaritmasını al. Ardışık iki satırın farkı, logaritmik eksendeki eğimdir; ilk aralıkla son aralığın eğimini karşılaştır.
4. Firmanın yaptığını yap: ilk iki noktanın oranını sabit kabul edip kaybı yüz bine kadar her on katta aynı oranla çarp.
5. Şimdi kayıpta iki birimlik bir taban olduğunu varsay. B sütunundaki her sayıdan iki çıkar, kalanların ardışık oranlarını bul.
6. Tabanın üstündeki kısmı bu sabit oranla yüz bine uzat, sonra ikiyi geri ekle.
7. Dördüncü ve altıncı adımın yüz bindeki tahminlerini karşılaştır ve hangisinin ölçülmemiş aralık hakkında daha az iddiada bulunduğunu bir cümleyle yaz.

Hesap doğru gittiyse oranlar sıfır virgül altı, sıfır virgül altmış yedi ve sıfır virgül yetmiş beştir; sabit değil, bire doğru büyüyorlar. Logaritmik eğim ilk aralıkta yaklaşık eksi sıfır virgül yirmi iki, son aralıkta eksi sıfır virgül on ikidir: çizgi bükülüyor. Firmanın yolu yüz binde kaybı yaklaşık sıfır virgül yetmiş sekiz verir. Tabanın üstündeki kısım sekiz, dört, iki ve bir olur; her on katta tam yarıya iner. Bu yolla yüz bindeki tahmin iki virgül yirmi beştir. Aynı dört noktadan çıkan bu tahminler arasında neredeyse üç kat fark var. Tabanın gerçekten iki olup olmadığını dört nokta kesin söylemez; bunu ancak daha büyük bir ölçüm söyler.

Defter: "Ölçek çizgisi" adını verdiğin sayfaya dört ölçümü, iki tahmini ve aradaki farkı yaz. Altına, birisi sana kesikli çizgiyle uzatılmış bir grafik gösterdiğinde soracağın üç soruyu kendi cümlelerinle ekle.

Hata köşesi

Sorumluluk

Kesikli çizgiyle uzatılmış bir tahmin bir karar belgesine girdiğinde, ölçülen ile tahmin edilen arasındaki sınırı kimin çizdiği belli olmalıdır. Grafiği yapan firma ölçüm aralığını, kullandığı veriyi ve uzatmanın kaç kat ötesine gittiğini yazmaktan sorumludur. Elif'in işi bu tahmini şirketin kendi notlarıyla küçük ölçekte doğrulamak ve kaybı değil özetlerin doğruluğunu ölçmektir. İki paket arasındaki kararı bütçenin sahibi olarak Kenan Bey verir. Yanlış bir uzatmanın bedelini, eksik özetle dosyası değerlendirilen poliçe sahipleri ve o özetleri düzeltmek zorunda kalan eksperler öder.

Kapanış

1. Kayıp; parametre sayısı, veri büyüklüğü ve hesapla, ölçülen aralıkta kuvvet yasası biçiminde düşer: logaritmik eksende bir doğru, her ikiye katlamada aynı oran.
2. Sabit bir bütçe model ile veri arasında bölünür; Hoffmann ve arkadaşları ikisinin eşit oranda büyütülmesi gerektiğini ölçtü ve daha küçük ama daha uzun eğitilmiş bir modelin büyüğünü geçtiğini gösterdi.
3. Ölçek yasası ölçülen aralığın, deneyin ayarlarının ve kaybın sınırları içinde geçerlidir; tabanı, uzatmayı ve görevdeki başarıyı ayrıca ölçmek gerekir.

Üç soru

1. Kenan Bey'in sorusuna dön: logaritmik eksende dümdüz görünen bir çizgiyi yüz kat ötesine uzatmak neden riskli?
2. Kaplan ve arkadaşlarının üssüyle model büyüklüğünü ikiye katlamak kaybı ne kadar azaltır ve bu, büyüklüğün nereden başladığına bağlı mıdır?
3. Elif iki paketten hangisini neden daha yakından incelemeli ve hangi ölçümü istemeli?

Yanıtlar

1. Düz çizgi yalnız ölçülen noktalar arasında gözlenmiştir. Kayıp sıfıra inemeyeceği için bir tabana yaklaşırken çizgi bükülür ve ilk birkaç nokta bu bükülmeyi göstermez. Uygulamadaki iki tahmin aynı dört noktadan çıkıp yüz binde neredeyse üç kat ayrıldı; ayrıca üsler deneyin ayarlarına ve verinin diline bağlıdır.
2. Kayıp yaklaşık sıfır virgül doksan beş katına iner, yani yüzde beş kadar azalır. Kuvvet yasasında bu oran büyüklüğün başlangıç değerine bağlı değildir: bir milyondan iki milyona çıkmak ile bir milyardan iki milyara çıkmak aynı oranı verir. Bu yüzden her yeni kazanç bir öncekinden pahalıdır.
3. Aynı bütçede dengeli paket, Hoffmann ve arkadaşlarının bölüşümüne daha yakındır ve kullanımda daha ucuzdur; ama o sonuç İngilizce web metninde ölçülmüştü. Elif iki bölüşümün şirketin kendi notlarıyla küçük ölçekte denenmesini ve kayıp yerine, eksperlerin denetlediği bir dosya kümesinde özetlerin doğruluğunun ölçülmesini istemelidir.

Sonraki derse köprü

Ölçek yasası kaybı hesaba bağlar ve hesabı bir sayı gibi gösterir. O sayının arkasında aylarca çalışan grafik işlemciler, bir elektrik faturası, soğutulan salonlar ve bu enerjinin üretildiği yer vardır. Ders 9.6, Hesap ve enerji, eğitimin donanım, maliyet ve çevre bedelini ele alıyor: kesikli çizginin ucundaki büyük paket, kayıptan başka neye mal olur?