Token mikroskobu

Açılış

Elif, Melis'in tablosundaki son sütunu küçükten büyüğe sıraladı. Sütunun başlığı "kelime başına token"dı ve altında yüz satır vardı: bir aylık eksper raporlarından rastgele çekilmiş yüz dosya. Kenan Bey kararını vermişti; hizmetin fiyatı artık kelime tahminiyle değil, şirketin kendi raporlarında ölçülmüş token sayısıyla konuşulacaktı. Melis raporları tokenleştiricinin herkese açık sürümünü kendi bilgisayarında çalıştırarak saymıştı, hiçbir rapor şirketin dışına çıkmamıştı.

Satırların çoğu üç civarında toplanıyordu. Listenin dibinde ise on bir rapor ayrı durdu, hepsi dördün üstünde. Melis on birini sırayla açtı. Hepsinin altında aynı imza vardı: Halil Bey. Kıdemli eksper raporlarını yirmi yıldır büyük harfle yazıyordu.

"Aynı hasar, aynı uzunluk," dedi Kenan Bey. Ekranda iki çamurluk raporu açıktı, biri küçük harfle, biri Halil Bey'in. "Bunlar neden yarım kat pahalı?"

Melis tek bir cümleyi iki biçimde sayaca verdi: "Sağ ön çamurluk değiştirilmelidir." Küçük harfli sürüm on beş tokena bölündü, büyük harfli sürüm yirmi altıya. Aynı dört kelime, aynı harfler, neredeyse iki kat parça.

Kenan Bey kalemini masaya bıraktı. "Peki sözleşmeye hangi sayıyı yazacağız? Ortalamayı mı, en kötüsünü mü? Gelecek ay Halil Bey iki kat rapor yazarsa ne olacak?"

Elif tabloya yeni bir sütun ekledi ve başlığını boş bıraktı.

Tek fikir

Bir metnin token sayısı tahmin edilmez, ölçülür. Kendi metinlerinden ölçülen kelime başına token oranı, toplamıyla faturaya, en uzun ucuyla pencereye ve cevap sınırına bütçe olur.

Nasıl çalışır

Ders 12.1'de tokenleştiricinin metni sıklıkla öğrenilmiş parçalara böldüğünü, Türkçe çekimlerin seyrek görüldükleri için daha çok parçaya dağıldığını gördük. Mikroskop, o bölünmeyi kendi metninde görmek ve saymaktır. Bunun için bir oran, bir de o oranı kullanmanın kuralı gerekir.

Oranı bulmak kolaydır; onu bir toplama çevirmek dikkat ister. Melis ilk hesabında her raporun oranını bulmuş, sonra yüz oranın ortalamasını almıştı. Fatura ise raporların oranını değil, tokenlarının toplamını öder.

Melis hesabı toplamlardan yeniden yaptı. Yüz rapor kırk bir bin sekiz yüz kelime ve yüz otuz bir bin beş yüz altmış token tutuyordu; oran üç virgül on beş, rapor başına ortalama bin üç yüz on altı token. Halil Bey'in on bir raporu tek başına dört virgül dört oranındaydı, öteki seksen dokuz rapor üçte.

Elif boş sütunun başlığını yazdı ve hesabı Kenan Bey'in önünde kurdu. Şirket ayda üç bin rapor özetletiyordu. Her istekte dört yüz tokenlık sabit bir talimat, ortalama bin üç yüz on altı tokenlık rapor ve yüz seksen kelimelik bir özet vardı. Melis otuz özeti de ölçmüştü; özetlerde oran üçtü, yani özet başına beş yüz kırk token. Ahia ve arkadaşlarının Ders 12.1'de gördüğümüz çalışması ticari hizmetlerin girdi ve çıktı tokenlarına göre ücret aldığını hatırlatıyordu; Elif de iki satır yazdı. Girdi: üç bin çarpı bin yedi yüz on altı, beş milyon yüz kırk sekiz bin token. Çıktı: üç bin çarpı beş yüz kırk, bir milyon altı yüz yirmi bin token.

Pencere hesabı başka bir sayıdan kuruldu. Yüz raporun en uzunu Halil Bey'in bin dokuz yüz kelimelik yangın raporuydu, oranı dört virgül altı: sekiz bin yedi yüz kırk token. Özetlere bir cevap sınırı da gerekiyordu; Melis'in otuz özetindeki en yüksek oran üç virgül dörttü, yüz seksen kelime çarpı üç virgül dört altı yüz on iki ediyordu ve Elif sınırı altı yüz elliye yuvarladı. Talimat, en uzun rapor ve cevap sınırı birlikte dokuz bin yedi yüz doksan token. Ders 12.5'te gördüğümüz bağlam penceresi en az bunu taşımalıydı. Ortalama bir istek bunun dörtte birinden azdı; pencereyi ortalamaya göre kursaydılar, en uzun rapor ya kesilecek ya da reddedilecekti.

Ders 12.1'deki Petrov ve arkadaşlarının token primi aynı mikroskobun öteki merceğidir: aynı içeriğin Türkçe ve İngilizce sürümünü sayıp birini ötekine bölmek. Elinde tokenleştirici sayfası yoksa elle yaklaşık bir sayım da yapılabilir. Ders 12.1'deki birleştirme mantığına göre sık görülen kısa parçalar birleşir, seyrek dizgiler kısa parçalara dağılır; İngilizce ağırlıklı bir listede Türkçe kelimeler kabaca hece boylarında parçalara bölünür. Türkçede her ünlü bir hece demektir: ünlüleri say, noktalama işaretlerini ekle.

Sahada

Nerede yanılır

Mikroskop yalnız altına konan metni gösterir. Melis'in yüz raporu bir aydan çekilmişti ve o ay dolu mevsimi değildi. Dolu hasarlarında eksperler uzun parça listeleri, plaka ve ekspertiz kodları yazar; rakamlar üçerli gruplara, kodlar harf kümelerine bölünür ve oran başka bir yere oturur. Ölçüm, ölçülen dönemin rapor karışımını taşır. Karışım değiştiğinde, yeni bir eksper başladığında, rapor şablonu değiştiğinde ya da hizmet tokenleştiricisini güncellediğinde sayı yeniden ölçülmelidir.

İkinci yanılgı ortalamayla sınır koymaktır. Toplam ortalamadan çıkar, ama pencereyi ve cevap sınırını en uzun uç zorlar. Onur'un Ders 12.1'deki üç yüz tokenlık sınırı da çoğu cevaba yetiyor, uzun cevapları cümle ortasında kesiyordu. Uç durumlar seyrektir, ama bir müşterinin dosyası her seferinde o uçtadır.

Üçüncüsü, oranı düşürmek için metni değiştirmenin bedelsiz sanılmasıdır. Halil Bey'in raporlarını küçük harfe çevirmek ilk akla gelen çaredir. Türkçede bu çeviri basit değildir: büyük "I" harfi küçük "ı" olmalıdır, büyük "İ" küçük "i". Dilin kuralını bilmeyen bir dönüştürme "SIGORTALI" kelimesini "sigortali" yapar; okunur ama başka bir dizgidir. Daha tehlikelisi, plaka, poliçe numarası ve özel adlar da dönüşüme girer. Metni değiştiren her ön işlemden sonra bir örnek, metni bilen biri tarafından aslıyla karşılaştırılmalıdır.

Dördüncüsü, iki farklı sayaçla ölçülmüş oranları karşılaştırmaktır. Kelime başına token, onu üreten tokenleştiriciyle birlikte yazılmadıkça yarım bir sayıdır.

Uygulama

Bu atölyede kendi metinlerini mikroskobun altına koyacaksın. Gereken bir kalem, bir sayfa ve, varsa, herkese açık bir tokenleştirici sayfası; böyle bir sayfa yapıştırdığın metni çoğunlukla kendi sunucusuna gönderir, bu yüzden malzemeyi baştan herkese açık metinlerden seçiyoruz.

1. Malzeme. Bir gazetenin sitesinden bir haber paragrafı, bir yemek tarifi ve bir panoya asmaktan çekinmeyeceğin, kendi yazdığın bir paragraf seç. Her biri kırk ile seksen kelime arasında olsun.
2. Kelime sayısı. Her metnin kelimelerini boşluklara göre say ve yaz.
3. Token sayısı. Her metni tokenleştirici sayfasına yapıştır, token sayısını yaz; sayfa hangi tokenleştiriciyi kullandığını söylüyorsa onu da not et. Sayfan yoksa ünlüleri say, noktalama işaretlerini ekle ve bu sayıyı yaklaşık token diye yaz.
4. Oran. Her metin için token sayısını kelime sayısına böl, iki haneye yuvarla. Sonra üç metnin tokenlarını toplayıp kelimelerinin toplamına böl; bu ikinci sayı bütçenin oranıdır.
5. Çeviri. Tarifi İngilizceye kendin çevir ya da bir çeviri aracına çevirt, aynı ölçümü yap. Türkçe token sayısını İngilizce token sayısına böl: bu, kendi metninin token primidir.
6. Sayılar. Tarifteki bir süreyi ya da miktarı iki satıra yaz, biri rakamla, biri yazıyla. Bir tarih de ekle: gün, ay ve yılı rakamla ve yazıyla. Her satırı ayrı ölç.
7. Ekler. Kendi paragrafından bir kelimeyi eksiz ve en uzun ekli biçimiyle iki ayrı satırda ölç.
8. Büyük harf. Haber paragrafının ilk cümlesini tümüyle büyük harfle yeniden yaz ve ölç.
9. Bütçe. Bir iş kur: her iş günü bu uzunlukta bir paragraf otuz kelimelik bir talimatla bir asistana veriliyor ve kırk kelimelik bir özet isteniyor. Talimat, metin ve özetin kelimelerini topla, dördüncü adımdaki bütçe oranıyla çarp, yirmi iki iş günüyle çarp. Sonra özet için bir cevap sınırı belirle: kırk kelimeyi üç metnin en yüksek oranıyla çarp ve yukarı yuvarla.

Aşağıdaki tablo, bu dersi hazırlarken yazılmış bir tarif, bir haber paragrafı ve kişisel bir paragrafın daha yeni sürüm tokenleştiricideki ölçümüdür. Senin sayıların metne ve sayfaya göre farklı çıkacak; tablo, adımların nasıl dolduğunu göstermek için burada.

Tabloda üç şeye bak. Rakam yazıdan ucuz çıktı; "07.10.2026" gibi bir tarih ise yine altı parçaya dağıldı, çünkü rakamlar üçerli gruplara bölünür. Eksiz kelime tek parça, en uzun çekimi dört parça; Türkçe metnin oranını asıl ekler belirliyor. Büyük harf denemesinde oran dördün üstüne çıktıysa bütçeyi o oranla da hesapla: kırk kelimelik bir özet büyük harfle yazılsaydı yüz tokenlık bir sınır onu ortasından keserdi.

Defter: Ölçüm tablonu kendi sayılarınla geçir ve her satırın yanına ölçtüğün sayfanın ya da elle saydığının adını yaz. Altına iki cümle: üç metnin hangisi en pahalı çıktı ve neden; bir kuruma token bütçesi önerecek olsan hangi sayıyı faturaya, hangisini sınıra yazardın.

Hata köşesi

Sorumluluk

Elif ölçümü ve yöntemini bir sayfalık notta Kenan Bey'e verdi: yüz rapor, toplamlardan hesaplanmış oran, ayrı satırlarda girdi ve çıktı, pencere için en uzun rapor, her çeyrekte ve her tokenleştirici değişikliğinde yeniden ölçüm. Bütçenin ve sözleşmenin kararı Kenan Bey'dedir; sayıların doğrulanması Elif'te, ölçümün raporları şirket dışına çıkarmadan yapılması Melis'tedir. Halil Bey'in raporları için bir karar daha gerekiyordu. Kenan Bey ondan yazım alışkanlığını değiştirmesini istemedi; raporlar dile uygun bir dönüştürmeyle küçük harfe çevrilecek ve ilk elli dönüştürülmüş raporu Halil Bey'in kendisi aslıyla karşılaştıracaktı. Bedelin kime düştüğü de not edildi: aynı sınırla daha çok parçaya bölünen metin daha pahalı işlenir ve kesilmeye daha yakındır.

Kapanış

1. Kelime başına token, token sayısının kelime sayısına bölünmesidir; kendi metinlerinde, kullanılan tokenleştiriciyle ölçülür ve tokenleştiricinin adıyla birlikte yazılır.
2. Fatura için oran toplamlardan hesaplanır, yani toplam tokenlar toplam kelimelere bölünür; oranların ortalaması kısa metinlere fazla ağırlık verir.
3. Token bütçesi iki yerde tutulur: fatura bütçesi ortalama ve toplamdan, pencere ve cevap sınırı en uzun uçtan kurulur; girdi ve çıktı ayrı satırdadır.

Üç soru

1. Bir rapor yüz kelimede dört yüz, öteki dokuz yüz kelimede iki bin yedi yüz token tutuyor. Faturayı tahmin etmek için hangi oranı kullanırsın ve neden?
2. Halil Bey'in raporları neden aynı uzunluktaki küçük harfli raporlardan daha çok token tutuyor?
3. Elif bağlam penceresi ihtiyacını neden ortalama rapordan değil, en uzun rapordan hesapladı?

Yanıtlar

1. Üç virgül biri. İki raporun toplamı bin kelimede üç bin yüz tokendır ve fatura bu toplamı öder. Oranların ortalaması olan üç virgül beş, yüz kelimelik kısa rapora dokuz yüz kelimelik raporla aynı ağırlığı verdiği için toplamı fazla gösterir.
2. Tokenleştiricinin parça listesi çoğunlukla küçük harfli metinden öğrenilmiştir. Büyük harfli Türkçe kelimeler o listede seyrek geçer; bu yüzden birleştirilmiş uzun parçalara değil, iki üç harflik kümelere ve tek tek harflere bölünür. Kelimeler aynı kalır, parçalar çoğalır.
3. Pencere her istek için ayrı ayrı yetmek zorundadır. Ortalama istek pencereye rahatça sığarken en uzun rapor talimat ve cevap sınırıyla birlikte dokuz bin yedi yüz doksan token tutuyordu; pencere ortalamaya göre kurulsaydı bu rapor kesilir ya da reddedilirdi.

Sonraki derse köprü

"Sağ ön çamurluk değiştirilmelidir." cümlesi Melis'in sayacında on beş parçaydı. "Değiştirilmelidir" neyin değişeceğini "çamurluk"tan, hangi çamurluğun değişeceğini "sağ ön"den bilir; parçalar ayrıldıktan sonra birbirine nasıl bağlanıyor? Ders 13.1, Dikkat mekanizması, dizideki her tokenın ötekilere ne kadar baktığını ele alıyor. Bir cümle on beş parça yerine yirmi altı parça olduğunda bu bakışların sayısına ne olur?