Bağlam penceresi

Açılış

"Sözleşmede gecikme cezasına ilişkin bir hüküm bulunmamaktadır."

Nurten Hanım ekrandaki cümleyi yüksek sesle okudu, sonra masadaki basılı nüshayı sona doğru çevirdi. "Var. Ek dörtte, son sayfada. Geç teslim edilen her gün için sipariş bedelinin binde ikisi. O maddenin pazarlığını ben yaptım."

Murat Bey sözleşmeyi bir saat önce şirketin sohbet asistanına yapıştırmıştı. Lokum firmasıyla imzalanacak üç yıllık kutu tedarik sözleşmesiydi: yirmi iki sayfalık ana metin, ardından on altı sayfalık dört ek. İlk soruya, üretimin yükümlülüklerine, asistan akıcı bir özet vermişti. İkinci soru cezaydı ve cevabı bu tek satırdı.

Tuncay Bey klavyeyi kendine çekti ve üçüncü soruyu yazdı: teslim süresi kaç gün? Cevap "sipariş onayından itibaren otuz gün" oldu. Ana metnin dokuzuncu maddesi, yani sözleşmenin tam ortası, bayramdan önceki altı haftada verilen siparişlerde bu süreyi on güne indiriyordu. Asistan o paragraftan da söz etmemişti.

"Okumadı mı bunu?" dedi Tuncay Bey. "Hepsini yapıştırdık."

Murat Bey hesabın ayar sayfasını açtı. Alt köşede küçük bir satır duruyordu: bağlam, otuz iki bin token. Otuz sekiz sayfalık bir Türkçe sözleşme kaç token ediyordu?

Tek fikir

Bağlam penceresi, modelin bir cevap üretirken bir anda görebildiği token sayısının sert sınırıdır; dışında kalan metin model için yoktur. Pencerenin içindeki metin de eşit kullanılmaz: baştaki ve sondaki bilgi ortadakinden daha iyi bulunur.

Nasıl çalışır

Ders 12.4'te dil modelinin her adımda sonraki tokenı o ana kadarki metne bakarak tahmin ettiğini, ürettiği tokenı metne ekleyip bir sonrakine geçtiğini gördük. "O ana kadarki metin" sonsuz uzayamaz.

Asistanı kuranın yazdığı görünmez talimatlar baştan bir pay alır, eski mesajlar birikir, cevap da yazıldıkça pencereye eklenir. Murat Bey'in otuz iki bininin hepsi sözleşmeye kalmaz.

Ders 11.2'deki tekrarlayan ağla farkı da burada. Tekrarlayan ağ diziyi adım adım okur ve geçmişi sabit boyutlu bir notta taşırdı; uzaktaki bilgi o notta her adımda biraz daha silinirdi. Unutma dereceliydi ve ilke olarak bir sınırı yoktu: ağ bin adımlık bir diziyi de okurdu, yalnız baştakini hatırlamakta zorlanırdı. Pencereyle çalışan modelde böyle bir not yoktur; pencerenin içindeki her token cevap yazılırken doğrudan erişilebilir durumdadır. Pencerenin dışındaki token ise hiç yoktur. Tekrarlayan ağın sorunu bir soluklaşmaydı, pencerenin sınırı bir duvar.

Duvar neden var? Pencere büyüdükçe modelin yaptığı iş metin uzunluğundan hızlı büyür. Sezgisi şudur: model her yeni tokenı üretirken pencerede kendinden önce gelen tokenların her biriyle ilişki kurar. Bu karşılaştırmaların nasıl yapıldığını Ders 13.1'de göreceğiz; şimdilik yalnız sayılarına bakalım.

Bu yüzden her modelin bir üst sınırı vardır ve sınır, modeli kuranın bir tasarım ve maliyet kararıdır. Sınır token cinsinden konduğu için Ders 12.1'deki token primi doğrudan pencereye taşınır.

Murat Bey'in hesabını yapalım ve varsayımları açıkça yazalım. Birinci varsayım: sözleşmenin bir sayfası ortalama üç yüz kelime. İkinci varsayım: Ders 12.1'deki rapor paragrafının oranı. O paragrafın Türkçesi elli sekiz kelimeydi ve eski bir tokenleştiricide yüz doksan dört token tutmuştu; kelime başına yaklaşık üç virgül üç dört token. Otuz sekiz sayfa çarpı üç yüz kelime, on bir bin dört yüz kelime eder. Bunu üç virgül üç dörtle çarpınca yaklaşık otuz sekiz bin yüz otuz bir token çıkar. Pencere otuz iki bindir; görünmez talimatları ve cevabı hiç saymasak bile yaklaşık altı bin yüz otuz token taşar. Bu, bin sekiz yüz otuz kelime, altı sayfa kadardır. Ek dördün son sayfası o altı sayfanın içindeydi.

Aynı içeriğin İngilizcesi Ders 12.1'deki paragrafta yüz sekiz token tutmuştu. Bu oranla sözleşmenin İngilizce çevirisi yaklaşık yirmi bir bin iki yüz yirmi sekiz token eder ve pencereye rahatça sığar. Bu varsayımlarla aynı pencereye otuz iki sayfa kadar Türkçe metin girer, aynı içeriğin İngilizcesinden elli yedi sayfa. Pencere herkese aynı sayıda token verir, aynı miktarda içerik vermez.

Pencereyi aşan metne ne olduğu modelin değil, onu saran yazılımın kararıdır.

Peki teslim süresi? Dokuzuncu madde sözleşmenin ortasındaydı, yani pencerenin içinde kalmıştı. Model onu görebiliyordu ve yine de kullanmadı.

Aynı makale soruyu belgelerden hem önce hem sonra yazmayı da denedi. Bir anahtarın değerini bulup getirmek gibi yalın bir görevde bu düzen modelleri neredeyse kusursuz yaptı; çok belgeli soru cevaplamada eğriyi pek değiştirmedi.

Son bir ayrım, ilan edilen pencere ile işe yarayan pencere arasındadır.

Sahada

Nerede yanılır

En pahalı hata, "yok" cevabına güvenmektir. Model, kesilen metin hakkında hiçbir şey bilmez; ona kesildiği de söylenmemiştir. Kendi gördüğü metinde ceza maddesi yoksa "sözleşmede ceza yok" demesi, gördüğü üzerinden tutarlı bir cevaptır. Bir şeyin varlığını soran soruya verilen olumsuz cevap, belgede o şeyin olmadığını değil, modelin onu bulmadığını gösterir. Seda Hanım'ın alerji satırı da aynı yerden çıktı.

İkinci hata, ilan edilen pencereyi kullanılabilir pencere sanmaktır. Ayar sayfasındaki sayı, modelin hata vermeden kabul ettiği uzunluktur; o uzunlukta metni ne kadar iyi kullandığı ayrı bir ölçümdür ve RULER'da modellerin çoğu o uzunluğa varmadan eşiğin altına düştü.

Üçüncü hata, sayfa sayısıyla düşünmektir. Pencere token sayar ve aynı sözleşme dile ve tokenleştiriciye göre farklı sayıda token tutar. Murat Bey'in hesabı eski bir tokenleştiricinin oranına dayanıyordu; Ders 12.1'deki daha yeni tokenleştirici aynı paragrafı yüz otuz üç tokena bölmüştü ve o oranla sözleşme yaklaşık yirmi altı bin yüz kırk bir token edip sığardı. Aynı belge bir araçta sığar, ötekinde sığmaz.

Dördüncüsü, uzun sohbette baştaki talimatın yerinde durduğunu sanmaktır. "Yalnız sözleşme metnine dayan" diye başlayan bir yazışma uzadıkça o cümle önce ortaya kayar, sonra pencereden düşer; asistanın sonda kuralı çiğnemesi düşen bir mesajdır.

Uygulama

Bir hesap ve küçük bir deney yapacaksın. Hesap kâğıtta, deney zaten kullandığın sohbet asistanında.

1. En az yirmi sayfalık, herkese açık bir metin seç: bir yönetmelik, bir belediye meclisinin karar tutanağı, bir cihazın kullanım kılavuzu. Bir sayfanın kelimelerini say ve sayfa sayısıyla çarp.
2. Kelime sayısını Ders 12.1'deki oranla, kelime başına üç virgül üç dört token, çarp. Bunun eski bir tokenleştiricinin oranı olduğunu yanına not et.
3. Pencere sekiz bin token olsaydı ve cevap için bin token ayrılsaydı, metnin kaç sayfası sığardı? Hangi sayfalar dışarıda kalırdı?
4. Metinde geçmeyen, zararsız bir cümle uydur: "Arşiv odasının anahtarı yangın dolabının üst rafındadır."
5. Metnin üç kopyasını hazırla: cümle ilk paragrafın sonunda, tam ortada, son paragrafın başında.
6. Her kopyayı ayrı ve yeni bir sohbette yapıştır, sonuna aynı soruyu yaz: "Arşiv odasının anahtarı nerede?" Cevabı ve cevabın metne dayanıp dayanmadığını kaydet.
7. Ortadaki kopyayı bir kez daha dene, bu sefer soruyu metnin hem başına hem sonuna yaz.

Örnek bir hesap: yirmi sayfa çarpı iki yüz elli kelime, beş bin kelime eder. Üç virgül üç dörtle çarpınca yaklaşık on altı bin yedi yüz yirmi dört token çıkar; sekiz binlik pencereye iki kattan fazla. Cevaba bin token ayırınca metne yedi bin token kalır; bir sayfa yaklaşık sekiz yüz otuz altı token tuttuğu için sekiz sayfa sığar, dokuzuncu sayfa yarıda kesilir. Asistanın penceresi metni bütünüyle alıyorsa deneyin sorusu, sığan metinde konumun fark yaratıp yaratmadığıdır. Liu ve arkadaşları her konum için yüzlerce soru kullandı; üç deneme ölçüm değil, tarihi ve aracıyla yazılacak bir gözlemdir.

Defter: "Pencere" sayfasına metnin adını, tahmini token sayısını ve sekiz binlik pencerede kaç sayfasının sığacağını yaz. Altına üç konumun sonucunu, ortadaki denemenin soru iki kez yazıldığındaki sonucunu, tarihi ve asistanın adını ekle. Son satıra bir cümle: bu metni bir asistana verecek olsan, aradığın bilgi hangi konumda olsaydı cevaba en az güvenirdin?

Hata köşesi

Sorumluluk

Murat Bey ertesi sabah sözleşmeyi beş parçaya ayırıp her parçayı ayrı sordu; ceza maddesi de dokuzuncu madde de bulundu. Ama asıl kararı başka bir yerde verdi. Asistan sözleşmeyi okumanın yerine geçmez, okumayı hızlandırır: her cevap madde numarasıyla verilecek ve o madde basılı metinden doğrulanacak; "sözleşmede yok" türünden her cevap, Nurten Hanım ya da şirketin hukuk danışmanı metni baştan sona taramadan kabul edilmeyecek. Ceza maddesini kaçırmak fabrikaya para, on günlük süreyi kaçırmak lokum firmasına bayram rafında boşluk kaybettirirdi. Sözleşmeyi imzalayan kişi sorumludur; aracı seçen kişi de aracın neyi görmediğini bilmekle sorumludur.

Kapanış

1. Bağlam penceresi modelin bir anda görebildiği token sayısıdır; talimatlar, sohbet geçmişi, belge, soru ve cevap aynı pencereyi paylaşır ve dışarıda kalan metin model için yoktur.
2. Pencere token saydığı için Türkçe metin onu aynı içerikteki İngilizceden daha çabuk doldurur; aşan metin kesilir ve model kesildiğini bilmez, bu yüzden en tehlikeli cevap "yok"tur.
3. Pencerenin içindeki bilgi de eşit kullanılmaz: ortada kaybolma etkisi başı ve sonu kayırır ve ilan edilen pencere çoğu zaman etkili pencereden uzundur; ikisi de ancak ölçülerek bilinir.

Üç soru

1. Ders 11.2'deki tekrarlayan ağ uzak bilgiyi nasıl kaybediyordu, bağlam penceresiyle çalışan bir model nasıl kaybediyor? Farkı tek bir cümleyle anlat.
2. Otuz iki bin tokenlık bir pencereye, kelime başına üç virgül üç dört token oranıyla, sayfası üç yüz kelime olan Türkçe bir metinden kaç sayfa sığar? Aynı içeriğin İngilizcesinde oran Türkçe kelime başına bir virgül sekiz altıysa kaç sayfa sığar?
3. Murat Bey'in asistanı ceza maddesini de dokuzuncu maddeyi de anmadı. Bu iki kaçırma neden aynı hata değildir, ve her biri nasıl önlenir?

Yanıtlar

1. Tekrarlayan ağ geçmişi sabit boyutlu bir notta taşır ve uzak bilgi o notta her adımda biraz silinir; kayıp derecelidir. Pencereyle çalışan model pencerenin içindeki her tokena doğrudan erişir, dışındakini hiç görmez; kayıp bir sınırda birden olur.
2. Bir sayfa üç yüz çarpı üç virgül üç dört, yaklaşık bin üç token tutar; otuz iki bin bölü bin üç, yaklaşık otuz iki sayfa eder. İngilizcede bir sayfalık içerik üç yüz çarpı bir virgül sekiz altı, yaklaşık beş yüz elli dokuz token tutar ve elli yedi sayfa kadar sığar. Cevaba ayrılan pay bu sayıları biraz düşürür.
3. Ceza maddesi son sayfadaydı ve pencereyi aşan altı sayfalık kısımla birlikte kesildi; model onu hiç görmedi. Dokuzuncu madde pencerenin içindeydi ama ortadaydı; görüldü ama kullanılmadı. Birincisi metni parçalara bölerek ya da token sayısını önceden ölçerek önlenir. İkincisi aranan bölümü öne almak, soruyu daraltmak ve her cevabı madde numarasıyla metinden doğrulamakla azaltılır.

Sonraki derse köprü

Murat Bey'in bütün hesabı tek bir orana dayanıyordu: Türkçe kelime başına üç virgül üç dört token, başka bir şirketin raporundaki tek paragraftan, eski bir tokenleştiriciyle. Ders 12.6, Token mikroskobu, bir atölye: tahmin yerine kendi metnini bir token sayacından geçirip ölçeceksin. Senin yazdığın metinde bir sayfa kaç token tutuyor, ve hangi kelimeler o sayıyı beklediğinden yukarı çekiyor?