12.3 · Seviye 3 · Dil Modelleri
Anlam uzayında yakınlık
benzerlik ölçüsü, kelime aritmetiği ve sınırları
Yapay Zekâ Akademisi — M12, Metin Sayıya Dönüşür · 2.355 kelime · 3 saha durumu · ≈ 11 dk okuma · 16 dk dinleme
Saha durumlarındaki kişiler ve kurumlar kurgusaldır; kaynaklar gerçektir. Belirli ürün ve modeller hakkındaki gözlemler yazıldıkları tarihte geçerlidir ve «Tarihli gözlem» etiketiyle yılı belirtilerek verilir. Yapay zekâ çıktıları doğrulanmadan karar dayanağı yapılmaz; dersler hukuki, tıbbi ya da mali danışmanlığın yerini tutmaz.
Açılış
Doruk, mitozla mayozun komşu çıktığı o kelime benzerliği aracında bir kutu daha buldu: iki kelimeyi toplayıp birini çıkaran bir hesap kutusu. İlk denemeyi yüksek sesle okudu: "kloroplast eksi bitki artı hayvan."
Ekranda ilk sırada "mitokondri" çıktı. Mert ellerini çırptı. "Hayvanın kloroplastı mitokondriymiş. Program biyoloji biliyor."
Elçin hemen itiraz etti. "Bitkide de mitokondri var. Bunu Mert'e geçen dönem söyledik." Sınıf güldü; Mert'in o yanlış varsayımlı sorusunu herkes hatırlıyordu. Cevap tutmuştu ama sorunun arkasındaki fikir yanlıştı.
Doruk ikinci hesabı yazdı: "mitoz eksi hayvan artı bitki." Bitki hücreleri de mitozla bölündüğü için beklenen cevap yine mitozdu. Ekran "mayoz" dedi. Berk ikinci sıraya baktı: "sitokinez."
Zeynep Hanım aracın yardım sayfasını açtı ve bir satırı sınıfa okudu: "Sorudaki kelimeler cevap olarak gösterilmez."
Doruk bir süre ekrana baktı. "Yani mitoz yazamıyordu. Peki ilkinde mitokondriyi bulmuş muydu, yoksa geriye kalanların en yakını mı oydu?"
Tek fikir
İki kelimenin yakınlığı, vektörlerinin arasındaki açıyla ölçülür; vektörlerle yapılan toplama çıkarma bazı ilişkileri görünür kılar. Ama hesap her soruya bir kelime döndürür, cevabın anlamlı olup olmadığını hesabın kurallarına bakmadan bilemeyiz.
Nasıl çalışır
Ders 12.2'de nefesi altı ve bir, soluğu beş ve bir, göğsü dört ve üç, başı sıfır ve altı vektörüyle yazmış, komşuluğu Ders 5.5'teki düz çizgi uzaklığıyla bulmuştuk. Nefese en yakın soluk çıkmıştı, en uzak baş.
Şimdi tabloya bir kelime daha ekleyelim. Hemşire notlarında hekimin "nefes" yazdığı yere "solunum" yazılır ve bu resmî kelime arşivde iki kat sık geçer: merdivenle on iki notta, zonklamayla iki notta. Solunumun vektörü on iki ve ikidir, yani nefesin vektörünün tam iki katı. Aynı yöne bakarlar; biri ötekinin uzatılmış hâlidir.
Düz çizgi uzaklığı bu çifti ne yapar? Farklar altı ve bir; karelerin toplamı otuz yedi, karekökü yaklaşık altı virgül sıfır sekiz. Göğüs nefese iki virgül sekiz üç uzaklıktaydı. Uzaklık ölçüsüne göre göğüs, nefese solunumdan daha yakındır. Oysa iki kelime aynı bağlamlarda, aynı oranlarla geçiyor; tek farkları birinin daha sık kullanılması. Uzaklık burada anlamı değil sıklığı ölçmüş oldu.
Bu yüzden gömmelerde çoğu zaman başka bir ölçü kullanılır.
Çarpıp toplama işine iç çarpım denir. Nefes ile göğüs için: altı kere dört yirmi dört, bir kere üç üç, toplam yirmi yedi. Nefesin uzunluğu otuz yedinin karekökü, yaklaşık altı virgül sıfır sekiz; göğsünki yirmi beşin karekökü, beş. Yirmi yediyi otuz virgül dört bire bölünce yaklaşık sıfır virgül sekiz sekiz çıkar. Nefes ile solunum için iç çarpım yetmiş dört, uzunlukların çarpımı da yetmiş dört; benzerlik tam bir. Nefes ile soluk sıfır virgül doksan dokuz doksan beş, nefes ile baş sıfır virgül on altı. Sıralama artık solunum, soluk, göğüs, baş.
Her vektör önce kendi uzunluğuna bölünüp bir birim boyuna getirilirse, iki ölçü aynı sırayı verir; uzunluğu eşitlenmiş vektörlerde düz çizgi uzaklığı küçüldükçe kosinüs büyür. Aşağıdaki makalede yazarlar da analoji hesabından önce bütün vektörleri birim uzunluğa getiriyordu.
Kosinüsün bir hesap kolaylığı daha var: en yakın komşuyu bulmak, sorulan vektörü bütün tabloyla çarpıp en büyük sayıları seçmektir. Seda Hanım'ın kullandığı düğme tam bunu yapıyordu.
İkinci soru vektörlerle aritmetiğin ne gösterdiğidir.
Fikir şudur: bitki ile kloroplast arasındaki fark bir yöndür; aynı yön hayvanın üstüne eklenirse hayvan için aynı ilişkiyi taşıyan kelimeye varılır. Doruk'un hesabını oyuncak sayılarla kuralım. Eksenleri biz seçiyoruz: birincisi kelimenin yaprakla birlikte geçtiği not sayısı, ikincisi enerjiyle. Bitki altı ve bir, kloroplast beş ve altı, hayvan bir ve bir, mitokondri bir ve altı, hücre dört ve dört.
Kloroplasttan bitkiyi çıkarınca eksi bir ve beş kalır. Hayvanı ekleyince sıfır ve altı. Bu noktanın mitokondriyle iç çarpımı otuz altı; uzunlukların çarpımı altı kere altı virgül sıfır sekiz, yaklaşık otuz altı virgül beş. Benzerlik sıfır virgül doksan dokuz. Hücreyle benzerlik sıfır virgül yetmiş bir, kloroplastla sıfır virgül yetmiş yedi. Cevap mitokondri. Vektörler önce birim uzunluğa getirilse de sıra değişmez.
Yüzde kırk az görünebilir. Ama hiçbir dilbilgisi kuralı verilmemiş bir sistemin "daha iyi"den "en iyi"ye giden yönü kendiliğinden öğrenmiş olması, gömmelerin sayım tablosundan fazlasını taşıdığının ilk güçlü işaretiydi.
Sahada
Nerede yanılır
Kosinüs uzunluğu atar; atılan şey bazen bilgidir. Ders 12.2'de seyrek kelimelerin vektörünün az örnekten öğrenildiğini görmüştük. Birkaç cümlede geçmiş iki nadir kelimenin yönü rastlantıyla aynı çıkabilir ve kosinüs onlara bir verir; uzunluk, yani ne kadar kanıta dayandıkları, hesaptan düşmüştür. Arama listelerinin tepesinde garip eşleşmeler görünüyorsa önce bu kelimelerin ne sıklıkta geçtiğine bakılır.
Analojide asıl tuzak, açılıştaki yardım satırıdır. Hesaplanan nokta çoğu zaman sorudaki kelimelerden birinin çok yakınına düşer, çünkü iki kelimenin farkı küçükse eklenen yön de küçüktür. Araçlar bu yüzden girdi kelimelerini cevaptan çıkarır ve kalanların en yakınını gösterir.
Yani yüksek bir analoji puanı, ilişkinin bir yön olarak öğrenildiğini değil, cevabın zaten komşu durduğunu da gösteriyor olabilir.
Açılıştaki ikinci hesap bunun biyoloji sınıfındaki karşılığıdır: doğru cevap mitozdu, araç onu yazamazdı.
Uygulama
Ders 12.2'nin çay tablosunu bu kez kosinüsle yeniden okuyacak ve cevabı olmayan bir analojiyi hesaplayacaksın.
- Vektörleri Ders 12.2'deki sayımdan al: çay üç ve bir, kahve üç ve sıfır, simit sıfır ve iki, ekmek sıfır ve üç.
- Her vektörün uzunluğunu bul: sayıların karelerini topla, karekökünü al.
- Her çift için iç çarpımı hesapla, iki uzunluğun çarpımına böl. Kâğıtta ya da hesap tablosunda yap.
- Altı çifti kosinüse göre büyükten küçüğe, düz çizgi uzaklığına göre küçükten büyüğe sırala. Hangi çiftler yer değiştirdi, hangileri eşitlendi?
- Analojiyi kur: kahveden çayı çıkar, simidi ekle. Çıkan noktanın dört kelimeyle kosinüsünü hesapla.
- Önce simidi de aday say, sonra sorudaki üç kelimeyi dışla. Cevap nasıl değişti?
- Son olarak kendine sor: bu analojinin doğru bir cevabı var mıydı?
Çay ile kahve arasında benzerlik sıfır virgül doksan beş çıkar; simit ile ekmek tam birdir, çünkü yalnız fırınla geçen bu iki kelime aynı yöne bakıyor. Düz çizgi uzaklığında bu çift çay ile kahveyle eşitti, birer birimdi; kosinüs simit ile ekmeği öne alır. Çay simide de ekmeğe de sıfır virgül otuz iki benzerlikle bağlanır, oysa uzaklıkta simit daha yakındı. Kahve ile simit ve kahve ile ekmek sıfırdır, dik dururlar. Analojide nokta sıfır ve bir olur. Simit de ekmek de bu noktayla tam bir benzerlik verir; simit aday sayılınca ikisi berabere kalır, dışlanınca cevap ekmek olur. Oysa çay ile kahvenin ilişkisi simit ile ekmeğin ilişkisine benzemiyor; hesap, sorunun anlamsız olduğunu söylemeden bir kelime döndürdü.
Defter: "Yön ve uzunluk" adlı sayfaya altı kosinüs değerini ve iki sıralamayı yaz. Altına analojinin iki cevabını, simit adaydayken ve dışlanmışken, ayrı satırlara koy ve bir cümle ekle: bir analoji sonucunu başkasına gösterirken hangi iki ayarı söylemek zorundasın?
Hata köşesi
Yaygın yanlış"Kosinüs benzerliği sıfır virgül doksan beşse iki kelime yüzde doksan beş aynı anlamdadır."
Kosinüs bir açıdır, olasılık ya da yüzde değildir. Aynı değer bir gömmede çok yakın, başka bir gömmede sıradan bir yakınlık olabilir; çünkü değerlerin dağılımı tablodan tabloya değişir. Bir eşik ancak o tabloda, bilinen çiftlerle sınanarak seçilir.
Yaygın yanlış"Kral eksi erkek artı kadın kraliçe veriyorsa gömme kraliyeti ve cinsiyeti anlamıştır."
Hesap, sorudaki kelimeler dışlandıktan sonra kalanların en yakınını verir. Cevap doğru çıkabilir çünkü kraliçe zaten kralın komşusudur. Bir analojiyi kanıt saymadan önce aynı soruyu yalnız komşulukla, girdi kelimelerine izin vererek ve ters yönden sorarak sonucu karşılaştırmak gerekir.
Sorumluluk
Kosinüs bir sıralama üretir; o sıralamanın nerede kesileceğine bir insan karar verir. Onur'un tekrar eşiği, Seda Hanım'ın arama listesi, Hande Hanım'ın kataloğu, her birinde eşiği seçen kişi hem kaçan sonuçların hem yanlış eşleşenlerin sorumluluğunu taşır ve eşiği gerçek örneklerle doğrulamak onun işidir. Analoji sonuçları için yük daha ağırdır: bir gömmenin bir gruba karşı önyargılı olduğunu gösteren ekran görüntüsü kolayca yayılır. Sonucu paylaşan kişi girdi kelimelerinin dışlanıp dışlanmadığını, sorunun hangi yönde kurulduğunu ve listenin kaçıncı satırını seçtiğini yazmalıdır. Abartılmış bir iddia gerçek önyargıyla uğraşan işi zayıflatır; gizlenmiş bir yöntem de okulda, hastanede ya da belediyede o tabloyla karar verecek kişiyi yanıltır.
Kapanış
- Kosinüs benzerliği iki vektörün yönünü karşılaştırır, uzunluğu hesaptan düşürür; aynı bağlamda farklı sıklıkla geçen kelimeleri düz çizgi uzaklığının ayırdığı yerde yan yana koyar.
- Kelime analojisi bir ilişkiyi fark vektörü olarak alıp başka bir kelimeye ekler; sonuç, girdi kelimeleri dışlanmış adaylar arasında en yüksek kosinüse sahip kelimedir.
- Hesap her soruya bir cevap döndürür: dışlama ayarı, komşuluk ve sorunun kuruluşu sonucu değiştirir; analojiyle yapılan önyargı ya da anlama iddiaları bu ayarlar söylenmeden değerlendirilemez.
Üç soru
- Nefes altı ve bir, solunum on iki ve iki vektörüyle temsil ediliyorsa, ikisi arasındaki düz çizgi uzaklığı ve kosinüs benzerliği nedir ve neden farklı şeyler söylerler?
- Bir benzerlik aracı "mitoz eksi hayvan artı bitki" sorusuna mitoz yerine mayoz cevabını veriyorsa, bunun gömmeden bağımsız nedeni ne olabilir?
- Bir analoji yönteminin yüksek başarısının fark yönünden geldiğini nasıl sınarsın?
Yanıtlar
- Farklar altı ve bir, kareler toplamı otuz yedi; uzaklık yaklaşık altı virgül sıfır sekiz, göğsün nefese uzaklığından büyük. Kosinüste iç çarpım yetmiş dört, uzunlukların çarpımı da yetmiş dört; benzerlik bir. Solunum nefesin iki katıdır, yönleri aynıdır. Uzaklık sıklık farkını ölçer, kosinüs bağlam oranını.
- Araç sorudaki kelimeleri cevap olarak göstermiyor. Doğru cevap mitozun kendisi olduğu için, araç onu yazamaz ve kalan adayların en yakınını, yani mitozun komşusu mayozu verir. Hata gömmede değil, hesabın kuralındadır.
- Aynı soruları fark yönünü kullanmayan bir yöntemle, yani yalnız üçüncü kelimenin en yakın komşusunu alarak cevapla ve iki başarıyı karşılaştır. Soruları ters yönden de sor. Fark büyük değilse ve ters yönde başarı düşüyorsa, puanın önemli bir kısmı komşuluktan geliyordur.
Sonraki derse köprü
Doruk'un aracındaki gömmeler, bir kelimenin hangi kelimelerin yanında geçtiğinden öğrenilmişti; tahmin işi onları biçimlendirdi ama sonunda elimizde yalnız bir tablo kaldı. Ders 12.4, Dil modeli ne yapar, aynı tahmin işini tablo kurmak için değil kendisi için ele alıyor: bir metnin devamında hangi parçanın geleceğini kestirmek ne demektir ve bütün bir sistem bu kadar dar bir işin üstüne nasıl kurulur?
Anlamadığın bir yer mi var?
Mentor yalnız bu dersin metnine dayanarak cevap verir. Metinde geçmeyen bir şey sorarsan uydurmaz, geçmediğini söyler.