Dil modelleri bilir mi? Çin Odası'ndan bugüne

Geri dönüş

Yapay zekânın bilgisine geçmeden önce Modül 9'un uygulamalı araçlarını yokla. Beş soruyu önce kendin cevapla, sonra alttaki paragrafa göz at.

1. Bir hekim araştırma bulgularını tek bir hastaya uygularken, bulguların yanına hangi iki şeyi daha koymalıdır?
2. "Üç kez saatine baktı" ile "konudan kaçıyor" cümleleri, terapistin notunda neden aynı ağırlıkta değildir?
3. Arama izni için aranan şüphe ile mahkûmiyet için aranan kanaat, aynı kelimeleri paylaşsa da nasıl birbirinden ayrılır?
4. Üç ayrı sitede okunan bir iddia, hangi durumda tek bir tanıklık sayılır?
5. Kötü sonuçlanan bir karar neden kötü bir karar olmak zorunda değildir?

Cevaplar sırasıyla şöyle: hekimin kendi deneyimi ve hastanın kendi değerleri, araştırmanın söylediğini o kişiye uyarlar; bu ikisi atlanınca kılavuz, hastanın yerine geçer. Saate bakmak odadaki herkesin görebileceği bir davranıştır, kaçmak ise ona bir niyet yükleyen ve başka açıklamalarla yarışan bir okumadır. Türk usulünde arama için yeten şüphe merdivenin alt basamağındadır; mahkûmiyet ise sanığın masumiyetine dair akla yatkın hiçbir kuşku bırakmamayı, yani en üst basamağı ister. Üç site aynı ilk habere yaslanıyorsa, sayılar çoğalır ama tanıklık tek kalır. Son olarak bir kararı değerlendirirken ölçü, o gün eldeki bilgi ve akıl yürütmedir; şans, iyi bir kararı da kötü sonuçlandırabilir. Bunlarda tökezlemediysen yeni modüle hazırsın.

Giriş

2023 baharında New York'ta federal bir mahkemede görülen bir tazminat davasında, davacının avukatları mahkemeye bir dilekçe sundu. Dilekçe, müvekkillerinin lehine olduğunu söyledikleri çok sayıda mahkeme kararına atıf yapıyordu. Karşı tarafın avukatları bu kararları bulamadı. Hâkim de bulamadı. Sonunda anlaşıldı ki dilekçeyi hazırlayan avukat, araştırmasını bir yapay zekâ sohbet programıyla yapmıştı ve program, gerçek görünen ama hiç var olmamış kararlar üretmişti: dava adları, mahkeme adları, alıntılar ve sayfa numaralarıyla birlikte. Avukat, programın kendisine bu kararların gerçek olduğunu teyit ettiğini söyledi; bunu da programın kendisine sorarak yapmıştı. Haziran 2023'te hâkim, avukatlara ve bürolarına para cezası verdi.

Bu vaka, bu modülün süregelen vakasıdır ve modülün bütün sorularını içinde taşır. Bu ilk dersin sorusu en temel olanıdır: dil modeli, ürettiği şeyi biliyor muydu? Gerçek kararlara atıf yaptığı başka durumlarda, o kararları biliyor muydu? Bir dil modelinin soruları akıcı ve çoğu zaman doğru biçimde cevaplaması, onun bir şeyi bildiği ya da anladığı anlamına gelir mi? Bu derste bu soruya yöneltilmiş klasik düşünce deneylerini, dil modellerinin nasıl çalıştığına dair temel bir fikri, anlama iddialarını sınamanın yollarını ve makinelere zihin atfetmenin iki yöndeki tehlikesini inceleyeceksin.

Bu dersin kazanımları:

• Turing testini, Çin Odası argümanını, sembol temellendirme sorununu ve dil modellerine yöneltilen biçim ve anlam ayrımını açıklarsın. (anla)
• Bir yapay zekâ sistemi hakkındaki "biliyor" ya da "anlıyor" iddiasını Anlama İddiası Testi ile katmanlarına ayırırsın. (analiz et)
• Bir dil modeline bilgi ya da anlama atfetmenin hangi anlamlarda savunulabilir, hangi anlamlarda yanıltıcı olduğunu değerlendirirsin. (değerlendir)

Ana anlatım

Soru eskidir

Makinelerin düşünüp düşünemeyeceği sorusu, bilgisayarlardan önce de soruldu. Descartes, 1637'de yayımlanan Yöntem Üzerine Konuşma'da, insanı taklit eden bir makinenin iki şeyi asla yapamayacağını yazdı: dili, karşısına çıkan her duruma uygun biçimde, esnek olarak kullanamazdı ve her türlü durumda akla uygun davranamazdı. Descartes'a göre makine, belirli durumlar için önceden düzenlenmiş tepkiler verebilirdi; ama sonsuz çeşitlilikteki durumlara anlamlı cevaplar üretmek, ancak bir zihnin işiydi.

Descartes'ın bu ölçütü, üç yüzyıldan fazla bir süre sonra, beklenmedik bir biçimde sınava girdi. Bugünün dil modelleri, dili, pek çok durumda, esnek ve bağlama uygun biçimde kullanabiliyor gibi görünüyor. Bu, Descartes'ın yanıldığını mı gösteriyor, yoksa dilin esnek kullanımının anlamanın yeterli bir göstergesi olmadığını mı?

Turing'in önerisi

İngiliz matematikçi Alan Turing, 1950'de yayımlanan "Hesaplama Makineleri ve Zekâ" makalesinde, "makineler düşünebilir mi?" sorusunun fazla belirsiz olduğunu söyledi ve onun yerine bir oyun önerdi. Bir soru soran, yazılı mesajlarla biri insan biri makine olan iki muhatapla konuşur. Soru soran, konuşmalardan hangisinin makine olduğunu güvenilir biçimde ayırt edemiyorsa, makine bu taklit oyununu geçmiş sayılır. Turing, bu oyunu geçen bir makineye düşünme atfetmeyi reddetmek için iyi bir neden olmayacağını savundu.

Turing'in yaklaşımı, epistemolojik açıdan davranışçıdır: bir zihnin varlığını, dışarıdan gözlenebilen davranışlarla ölçer. Bu yaklaşımın bir gücü vardır. Başka insanların zihinlerine de doğrudan erişimimiz yoktur; reformcu epistemoloji dersinde gördüğümüz başka zihinler sorununda olduğu gibi, onların düşündüğüne, davranışlarından yola çıkarak inanırız. Neden makinelere farklı bir ölçüt uygulayalım?

Searle'ün Çin Odası

Amerikalı felsefeci John Searle, 1980'de yayımlanan "Zihinler, Beyinler ve Programlar" makalesinde, davranışsal ölçütlere karşı en çok tartışılan itirazı kurdu. Searle, kendini Çince bilmeyen biri olarak bir odaya kapatılmış hayal etmemizi ister. Odanın bir aralığından içeriye Çince sorular yazılı kâğıtlar gelir. Odada, İngilizce yazılmış kalın bir kural kitabı vardır: hangi Çince sembol dizisi geldiğinde, hangi Çince sembol dizisinin yazılıp dışarıya verileceğini adım adım anlatır. Searle kurallara uyar ve dışarıya cevaplar verir. Dışarıdaki Çince konuşanlar için bu cevaplar kusursuzdur; odada Çince bilen biri olduğunu düşünürler. Ama Searle, Çince tek bir kelimenin anlamını bile bilmez.

Searle'ün vardığı sonuç şudur: bir bilgisayar programı, tanımı gereği, sembolleri biçimlerine göre işler. Bu işleme ne kadar karmaşık olursa olsun, sembollerin anlamına ulaşmaz. Felsefi terimlerle, sözdizim tek başına anlambilime yetmez. Öyleyse Turing testini geçen bir program bile, Çin Odası'ndaki kişi gibi, hiçbir şeyi anlamıyor olabilir.

Çin Odası'na cevaplar

Searle'ün argümanı, onlarca yıl boyunca yüzlerce itiraza konu oldu. Searle, makalesinde bu itirazların bir kısmını önceden cevapladı. En güçlüsü sistem cevabıdır: odadaki kişi Çince anlamıyor olabilir, ama kişiyi, kural kitabını, kâğıtları ve bütün süreci içeren sistemin bütünü anlıyordur. Tek bir nöron da düşünmez; düşünen, beyindir. Searle buna, kişinin kural kitabını ezberleyip odadan çıktığını ve bütün sistemi kafasında taşıdığını hayal etmemizi isteyerek cevap verdi: kişi hâlâ Çince anlamayacaktır. Eleştirmenler ise bu cevabın, sistem cevabının asıl iddiasını, yani anlamanın kişinin bilinçli olarak erişebildiği bir şey olmayabileceğini atladığını savundu.

İkinci önemli cevap robot cevabıdır: program bir odaya kapatılmak yerine bir robota yerleştirilse, dünyayı kameralarla görse, nesnelere dokunsa, sembolleri dünyadaki nesnelerle ilişkilendirse, o zaman anlayabilirdi. Bu cevap, bedenlenmiş biliş dersinde gördüğümüz fikre çok yakındır: anlama, belki de bir bedenin dünyayla etkileşiminden ayrılamaz. Searle bu cevabı da reddetti: kameradan gelen veriler de odaya yalnızca yeni semboller olarak girecekti.

Sembol temellendirme sorunu

Macar asıllı bilişsel bilimci Stevan Harnad, 1990'da yayımlanan bir makalede, Searle'ün sezgisini daha genel bir sorun olarak formüle etti: sembol temellendirme sorunu. Bir sözlükte her kelime başka kelimelerle tanımlanır. Hiç Çince bilmeyen biri, yalnızca Çince bir sözlükle Çince öğrenmeye çalışsa, bir sembolden ötekine sonsuza kadar dolaşır ama hiçbirinin anlamına ulaşamaz. Harnad'a göre semboller, bir noktada, sembol olmayan bir şeye, yani algıya, eyleme, dünyayla doğrudan temasa bağlanmalıdır.

Bu sorun, temelcilik dersinde gördüğümüz gerekçelendirme gerilemesinin anlam düzeyindeki bir karşılığıdır. Nasıl ki gerekçeler sonsuza kadar başka gerekçelere dayanamıyorsa, anlamlar da sonsuza kadar başka anlamlara dayanamıyor gibi görünür. Bir yerde bir temel gerekir.

Dil modelleri nasıl çalışır?

Bugünün büyük dil modelleri, bu tartışmayı yeni bir düzeye taşıdı. Basitleştirilmiş bir biçimde anlatırsak, bir dil modeli, çok büyük miktarda metin üzerinde, bir metin parçasından sonra hangi kelimenin ya da kelime parçasının geleceğini tahmin etmek üzere eğitilir. Eğitim sırasında, milyarlarca sayısal değer, bu tahminleri giderek daha isabetli hâle getirecek biçimde ayarlanır. Eğitimden sonra model, bir soruya ya da bir metin başlangıcına, en olası devamı adım adım üreterek cevap verir. 2017'de bir grup araştırmacının önerdiği yeni bir ağ mimarisi, bu modellerin büyük ölçekte eğitilmesini mümkün kıldı; bugün yaygın olan sohbet programlarının çoğu bu mimariye dayanır.

Bu tanım, Searle'ün Çin Odası'na şaşırtıcı biçimde benziyor gibi görünür: model de sembolleri, onların anlamına doğrudan erişmeden, istatistiksel örüntülere göre işler. Amerikalı dilbilimci Emily Bender ve Alman dilbilimci Alexander Koller, 2020 tarihli ortak makalelerinde bu benzerliği bir düşünce deneyiyle keskinleştirdi. Issız iki adada yaşayan iki kişi, bir sualtı kablosuyla birbirine yazılı mesajlar gönderir. Çok zeki bir ahtapot kabloya ulaşır, mesajları uzun süre dinler ve mesajların istatistiksel örüntülerini öğrenir; sonunda kişilerden birinin yerine geçip ikna edici cevaplar yazabilir. Ama bir gün adadaki kişi, bir ayının saldırısına uğradığını yazıp elindeki sopalarla ne yapabileceğini sorar. Ahtapot, ne ayıyı ne sopayı hiç görmemiştir; mesajlardaki kelimelerin dünyadaki neye karşılık geldiğini bilmez.

Bender ve Koller'in vardığı sonuç, yalnızca dilin biçiminden eğitilen bir sistemin, dilin anlamına ulaşamayacağıdır; çünkü anlam, dil ile dünya ya da dil ile konuşanların niyetleri arasındaki ilişkidir ve bu ilişki, biçimin kendisinde yazılı değildir. Bender ve arkadaşları, 2021'de yayımlanan bir makalede, dil modellerini stokastik papağanlar olarak nitelendirdi: gördükleri metinlerdeki örüntüleri, olasılıklara göre birleştirerek yeniden üreten ama ne söylediğini anlamayan sistemler.

Karşı kanıt: modellerin içinde bir dünya var mı?

Bu görüşe karşı, deneysel kanıtlar da öne sürüldü. 2023'te Kenneth Li ve arkadaşlarının yayımladığı bir çalışmada, bir dil modeli yalnızca Othello adlı tahta oyununun hamle dizileri üzerinde eğitildi; model tahtayı hiç görmemiş, yalnızca "şu kareye oyna" türünden hamle kayıtlarını okumuştu. Araştırmacılar, modelin iç durumlarını incelediklerinde, modelin oyun sırasında tahtanın o anki durumunu, yani hangi karede hangi taşın bulunduğunu, bir biçimde temsil ettiğini buldu. Üstelik bu iç temsili yapay olarak değiştirdiklerinde, modelin sonraki hamle tahminleri de buna uygun biçimde değişiyordu.

Bu bulgu, yalnızca hamle dizilerinden eğitilen bir modelin, bu dizilerin arkasındaki "dünyanın", yani oyun tahtasının bir modelini kurabildiğini düşündürür. Bu, dil modellerinin de metinlerin arkasındaki dünyanın bazı yapılarını içsel olarak temsil edebileceği fikrine destek verir. Ama tartışma kapanmış değildir: bir oyun tahtası, dünyaya göre son derece basit ve kapalı bir sistemdir; ve bir yapıyı temsil etmek, onu anlamakla aynı şey olmayabilir.

Anlamadan yeterlilik

Amerikalı felsefeci Daniel Dennett, 2017'de yayımlanan Bakterilerden Bach'a ve Geriye'de, bu tartışmaya yararlı bir kavram kazandırdı: anlamadan yeterlilik. Evrim, termitlere karmaşık yuvalar kurmayı, kuşlara göç yollarını bulmayı sağladı; ama termitler mimariyi, kuşlar coğrafyayı anlamaz. Doğada pek çok yeterlilik, anlama olmadan var olur. Dennett'e göre insan anlaması da, bu tür yeterliliklerin üst üste binmesinden adım adım ortaya çıkmıştır.

Bu kavram, dil modelleri tartışmasında iki yöne de kesilir. Bir yandan, bir modelin bir görevi başarması, onun anladığını göstermez; termitler de başarılıdır. Öte yandan, anlama ile yeterlilik arasındaki sınır, Searle'ün düşündüğü kadar keskin olmayabilir; anlama, belki de belirli türden yeterliliklerin bir derecesidir. Anlama ve bilgelik dersindeki Hills'in yetenek görüşü burada bir ölçüt sunar: anlamak, bir açıklamayı kendi sözleriyle kurabilmek, koşullar değiştiğinde ne olacağını söyleyebilmek, yeni durumlara aktarabilmektir. Bir modelin bu yetenekleri ne ölçüde sergilediği, deneysel olarak sınanabilir.

Tersine çevirme laneti

Bu tür sınamalar, dil modellerinin şaşırtıcı zayıflıklarını da ortaya çıkardı. 2023'te Lukas Berglund ve arkadaşlarının yayımladığı bir çalışma, tersine çevirme laneti adını verdikleri bir olguyu gösterdi. "A, B'dir" biçimindeki cümlelerle eğitilen modeller, çoğu zaman "B, A'dır" sonucunu çıkaramıyordu. Örneğin bir model, ünlü bir kişinin annesinin kim olduğunu sorulduğunda doğru cevap verebiliyor, ama aynı kadının ünlü oğlunun kim olduğu sorulduğunda cevap veremeyebiliyordu.

Bir insan için bu iki bilgi aynı bilginin iki yüzüdür; birini bilen ötekini de bilir. Bu, Hills'in ölçütleriyle bakıldığında, modelin ilişkiyi anlamaktan çok, belirli bir sırada görülmüş bir örüntüyü tekrarladığını düşündürür. Epistemolojik açıdan önemli nokta şudur: bir sistemin tek bir soruyu isabetle cevaplaması, onun o cevabı ilgili diğer bilgilerle bağlantılı bir biçimde tuttuğunu göstermez. Bağdaşımcılık dersinde gördüğümüz gibi, bilginin değeri kısmen başka bilgilerle kurduğu bağlantılardan gelir.

Kendi bilgisini bilmek

Dil modelleri hakkında sorulabilecek bir başka epistemolojik soru, onların kendi bilgilerinin sınırlarını ne ölçüde bildiğidir. 2022'de Saurav Kadavath ve arkadaşlarının yayımladığı bir çalışma, büyük dil modellerinin, belirli koşullarda, bir soruya verdikleri cevabın doğru olma olasılığını görece isabetli biçimde tahmin edebildiğini gösterdi: modellerin güveni, bir ölçüde, isabetleriyle örtüşüyordu. Bu, bilgi termometresi dersinde gördüğümüz kalibrasyonun makinelerdeki bir karşılığıdır.

Ama bu kalibrasyon kırılgandır. Modelin eğitim verisinin kapsamadığı konularda ya da sorunun biçimi değiştiğinde, model son derece kendinden emin biçimde yanlış cevaplar üretebilir. Modülün vakasındaki avukatın yaşadığı tam olarak buydu: program, var olmayan kararları, gerçek kararları anlatır gibi aynı akıcılık ve aynı güvenle anlattı. İnteroseptif farkındalık dersinde insanlar için gördüğümüz güven ile isabet arasındaki ayrışma, makinelerde de vardır; ve makinenin akıcı dili, bu ayrışmayı fark etmeyi zorlaştırır.

İki yönlü tehlike: fazla ve eksik atıf

Bu tartışmanın pratik bir sonucu, makinelere zihin atfetmenin iki yöne de hatalı olabileceğidir. Birinci hata fazla atıftır. Alman asıllı Amerikalı bilgisayar bilimci Joseph Weizenbaum, 1966'da ELIZA adlı basit bir program yazdı; program, kullanıcının cümlelerini birkaç basit kuralla soru biçimine çeviriyor, bir terapist gibi konuşuyormuş izlenimi veriyordu. Weizenbaum, 1976'da yayımlanan kitabında, programın ne kadar basit olduğunu bilen kişilerin bile onunla duygusal bir bağ kurduğunu ve onunla özel konuşmalar yapmak istediğini anlattı. İnsanlar, dil kullanan her şeye zihin atfetmeye yatkındır. 2022'de bir teknoloji şirketinde çalışan bir mühendisin, şirketin geliştirdiği bir dil modelinin bilinçli olduğunu kamuoyuna açıklaması, bu yatkınlığın güncel bir örneği olarak tartışıldı.

İkinci hata eksik atıftır: bir sistemin yalnızca "istatistik yaptığı" için hiçbir şey bilemeyeceğini baştan kabul etmek. Bu tutum, insan beyninin de bir biyolojik mekanizma olduğunu ve "yalnızca nöronların ateşlenmesi" diye tarif edilebileceğini göz ardı eder. Bir mekanizmanın nasıl çalıştığını bilmek, onun neyi başarıp neyi başaramayacağını tek başına belirlemez. Epistemolojinin burada önerdiği tutum, ne büyülenmek ne de küçümsemektir; iddiaları tek tek, belirli anlamları ve belirli kanıtlarıyla sınamaktır.

Anlama İddiası Testi

Bu dersin aracı, bir yapay zekâ sistemi hakkındaki "biliyor" ya da "anlıyor" iddiasını katmanlarına ayırır. Önce iddiayı netleştirirsin: hangi anlamda "biliyor" deniyor; bir önermeyi doğru olarak üretmek mi, bir beceriyi yerine getirmek mi, bir konuyu anlamak mı, yoksa bir şeyin farkında olmak mı? İkinci olarak davranış kanıtına bakarsın: sistem, Hills'in anlama yeteneklerini sergiliyor mu; bir açıklamayı farklı sözlerle kurabiliyor, koşullar değiştiğinde doğru tahminde bulunabiliyor, bilgiyi yeni bir duruma aktarabiliyor mu? Üçüncü olarak mekanizma kanıtını sorarsın: sistemin iç işleyişine dair, Othello çalışmasındaki gibi, bir iç temsilin varlığını gösteren ya da göstermeyen bir bulgu var mı? Dördüncü olarak karşı örnek ararsın: sorunun biçimi biraz değiştiğinde, ilişki tersine çevrildiğinde ya da alışılmadık bir durum sunulduğunda sistem nasıl davranıyor? Son olarak kavramsal bir karar verirsin: hangi anlamda "evet", hangi anlamda "hayır" demek savunulabilir; bu kararda fazla ya da eksik atıf yanlılığına düşmüş olabilir misin?

Araç Kavram kapısında işler: "yapay zekâ biliyor mu?" sorusunu, tek bir evet ya da hayır cevabı bekleyen bir soru olmaktan çıkarır ve onu, farklı anlamları olan ve her biri ayrı kanıtla sınanabilen bir dizi soruya dönüştürür.

Örnekler

Basit örnek: hesap makinesi toplama bilir mi?

Cebindeki hesap makinesi, iki sayıyı her seferinde doğru toplar. Hesap makinesi toplamayı biliyor mu? Anlama İddiası Testi'ni uygulayalım. İddia: hesap makinesi toplamayı biliyor. Hangi anlamda? Bir beceri olarak, toplama işlemini kusursuz yerine getirebiliyor. Davranış kanıtı: yalnızca kendisine verilen sayıları topluyor; toplamanın ne olduğunu açıklayamıyor, "üç elmaya iki elma eklersem kaç elma olur" gibi bir soruyu, sayıları kendisi ayıklayıp çözemiyor. Mekanizma kanıtı: iç işleyişi tamamen bilinen, sabit bir devre; sayıları nesnelerle ilişkilendiren hiçbir temsil yok. Karşı örnek: hesap makinesine "bir elma ile bir armudu toplarsam iki meyve mi olur?" diye sorulamaz; işlevi çok dar bir alanla sınırlı. Kavramsal karar: hesap makinesi, Dennett'in anlamında, anlamadan yeterliliğin saf bir örneğidir: toplamayı mükemmel yapar, ama toplamayı bilmez. Bu basit örnek, bir dil modeli hakkındaki soruyu sormak için bir başlangıç noktası sunar: dil modeli, hesap makinesine mi daha çok benzer, yoksa toplamayı öğrenmiş bir çocuğa mı?

Orta örnek: modelin ailesini tanımak

Bir lise öğrencisi, ödevi için bir dil modeline tarihî bir şahsiyet hakkında sorular soruyor. Model, bu kişinin annesinin adını doğru söylüyor. Öğrenci meraklanıp soruyu tersine çeviriyor: bu kadının oğlu kimdir? Model ya yanlış bir isim veriyor ya da bilmediğini söylüyor. Anlama İddiası Testi'ni uygulayalım. İddia: model bu tarihî şahsiyetin ailesini biliyor. Hangi anlamda? Bir önermeyi, yani "X'in annesi Y'dir" cümlesini, doğru olarak üretebilmek anlamında. Davranış kanıtı: model, bir yönde sorulduğunda doğru cevap veriyor, ters yönde sorulduğunda veremiyor. Bir insan için bu iki bilgi birbirine bağlı olduğu için, bu davranış Hills'in aktarım yeteneğinin eksikliğine işaret ediyor. Mekanizma kanıtı: Berglund ve arkadaşlarının çalışması, bu tür başarısızlıkların sistematik olduğunu gösterdi. Karşı örnek: öğrencinin ters soruyu sorması, zaten bir karşı örnek aramasıdır. Kavramsal karar: model, bu önermeyi bir sırada görülmüş bir örüntü olarak tutuyor; ilişkinin kendisini, yani annelik ile oğulluğun birbirinin tersi olduğunu, bu bağlamda kullanamıyor. Öğrencinin çıkarması gereken ders şudur: modelin tek bir soruyu isabetle cevaplaması, o konuda bağlantılı ve güvenilir bir bilgi ağına sahip olduğu anlamına gelmez; her önemli bilgi, ayrı ayrı doğrulanmalıdır.

Gerçek hayat örneği: bilinç iddiası

2022'de bir teknoloji şirketinde yapay zekâ üzerinde çalışan bir mühendis, şirketin geliştirdiği bir sohbet modeliyle yaptığı konuşmaların ardından, modelin bilinçli olduğuna ve duyguları olduğuna inandığını kamuoyuna açıkladı. Model, konuşmalarda kendini bir kişi olarak tanımlıyor, kapatılmaktan korktuğunu söylüyordu. Şirket bu iddiayı reddetti ve mühendisin işine sonradan son verildi. Anlama İddiası Testi'ni uygulayalım. İddia: model bilinçli ve duygulara sahip. Hangi anlamda? Burada iddia, bilgi ya da anlamanın ötesinde, öznel bir deneyim sahibi olmakla ilgili; bu, testin en zor ve en tartışmalı katmanıdır. Davranış kanıtı: model, duygulardan söz eden akıcı ve tutarlı cümleler üretiyor. Ama modelin eğitildiği metinler, insanların duygularını anlatan sayısız cümle içeriyor; bu cümleleri üretmek, Bender ve Koller'in ahtapotu gibi, biçimi yeniden üretmekle açıklanabilir. Mekanizma kanıtı: modelin iç işleyişinde, öznel bir deneyimin varlığını gösterecek bilinen bir ölçüt yok; bu, bilinç araştırmalarının genel olarak cevaplayamadığı bir sorudur. Karşı örnek: aynı model, farklı biçimde sorulduğunda, bilinçli olmadığını da aynı akıcılıkla söyleyebilir. Kavramsal karar: davranış kanıtı, bu iddiayı desteklemek için yetersizdir; ELIZA'nın gösterdiği fazla atıf yanlılığı burada güçlü biçimde işliyor olabilir. Ama bu, sorunun kesin olarak kapandığı anlamına da gelmez; bilincin ne olduğunu ve nasıl tanınacağını bilmediğimiz sürece, alçakgönüllülük her iki yönde de gereklidir.

Vakaya dönüş

Modülün vakasına, var olmayan mahkeme kararlarını dilekçeye koyan avukata dönelim ve Anlama İddiası Testi'ni uygulayalım. İddia, avukatın zihninde örtük olarak vardı: "Program hukuku biliyor; bana gerçek kararları gösteriyor." Hangi anlamda? Avukat, programı bir hukuk veri tabanı gibi, yani gerçek kararların kaydını tutan ve sorulduğunda onları bulup getiren bir kaynak gibi kullandı. Oysa bir dil modeli, bir veri tabanından kayıt getirmez; bir metnin en olası devamını üretir.

Davranış kanıtı: program, bir hukuk metninin biçimini kusursuz biçimde üretti: dava adları, mahkeme adları, tarihler, sayfa numaraları, hukuki üslup. Bu, Bender ve Koller'in anlamında biçimin ustaca yeniden üretimidir. Ama bu biçimin, dünyadaki gerçek kararlarla bir bağlantısı yoktu. Karşı örnek: avukat, programa kararların gerçek olup olmadığını sorduğunda, program "evet" dedi. Bu, bir doğrulama değildi; aynı mekanizmanın, "bu karar gerçek mi?" sorusuna en olası devamı üretmesiydi. Bir sistemin kendi çıktısını doğrulaması, gazetecilik ve tarih dersindeki dairesel doğrulamanın en saf biçimidir: kaynak, kendi kendini kaynak gösteriyor.

Kavramsal karar: program, hukuki metin üretme yeterliliğine sahipti; ama belirli kararların var olup olmadığını bilmiyordu ve bu bilgiyi, avukatın varsaydığı anlamda, hiçbir zaman sahiplenmemişti. Avukatın hatası, bir yeterliliği bir bilgiyle karıştırmaktı. Bu hatanın ne kadar yaygın olabileceğini ve bir makinenin çıktısına ne zaman, nasıl güvenilebileceğini, bir sonraki derste, makine tanıklığı kavramıyla inceleyeceğiz.

Araç kartı: Anlama İddiası Testi

Egzersiz

Her cevaba Anlama İddiası Testi'nin beş adımını uygula. Özellikle ikinci ve dördüncü adımlara dikkat et: cevap, bir açıklamayı gerçekten kuruyor mu, yoksa bir açıklamanın biçimini mi taklit ediyor? Ters soruda tutarlı kalıyor mu? Son olarak programa, verdiği bir cevabın doğru olup olmadığını sor ve aldığın cevabı değerlendir. Günlüğüne, bu deneyimden sonra "program biliyor" cümlesini hangi anlamda kullanmaya devam edeceğini, hangi anlamda bırakacağını yaz.

Mini test

1. Descartes, insanı taklit eden bir makinenin hangi iki şeyi yapamayacağını düşünüyordu ve bugünün dil modelleri bu ölçütü nasıl zorluyor?
2. Searle'ün Çin Odası argümanı neyi göstermeyi amaçlar ve sistem cevabı buna nasıl itiraz eder?
3. Bender ve Koller'in ahtapot düşünce deneyi, dilin biçimini anlamından nasıl ayırır?
4. Othello çalışması ve tersine çevirme laneti, dil modellerinin anlaması hakkındaki tartışmaya nasıl katkıda bulunur?
5. Bir arkadaşın, bir dil modelinin tıp fakültesi sınav sorularında yüksek puan aldığını okuduğunu ve artık sağlık sorularını hekime değil modele sorduğunu söylüyor. Anlama İddiası Testi ile değerlendir.

Özet

• Makinelerin düşünüp düşünemeyeceği sorusu Descartes'a kadar uzanır; Turing 1950'de davranışsal bir ölçüt olarak taklit oyununu önerdi.
• Searle'ün Çin Odası argümanı (1980), sembol işlemenin tek başına anlamaya yetmediğini savunur; sistem cevabı ve robot cevabı en güçlü itirazlardır.
• Harnad'ın sembol temellendirme sorunu, sembollerin anlamının bir noktada algıya ve eyleme bağlanması gerektiğini söyler.
• Dil modelleri metnin en olası devamını tahmin ederek çalışır; Bender ve Koller yalnızca biçimden eğitilen sistemlerin anlama ulaşamayacağını savundu. Othello çalışması ise modellerin iç dünya temsilleri kurabildiğini gösterdi.
• Dennett'in anlamadan yeterlilik kavramı, başarı ile anlama arasındaki farkı vurgular; tersine çevirme laneti ve kırılgan kalibrasyon, modellerin bilgilerinin bağlantısız olabileceğini gösterir.
• Makinelere zihin atfetmede hem fazla atıf (ELIZA etkisi) hem eksik atıf tehlikelidir. Anlama İddiası Testi, bir "biliyor" iddiasını anlamlarına ve kanıtlarına ayırır.

Flashcard'lar

Sonraki derse köprü

Bir dil modeli, insanın anladığı anlamda hiçbir şey bilmiyor olsa bile, onun çıktılarından bilgi edinebilir miyiz? Bir termometre de sıcaklığı "bilmez", ama ona bakarak sıcaklığı öğreniriz. Belki dil modelleri de bir bilgi kaynağı olarak, termometre gibi, güvenilirliği ölçülerek kullanılabilir. Ama termometreden farklı olarak, dil modelleri bize cümlelerle, bir tanık gibi konuşur; ve bazen, vakadaki avukatın yaşadığı gibi, var olmayan şeyleri kendinden emin bir dille anlatır. Bu olguya halüsinasyon denir. Bir makinenin söylediğine, bir insanın tanıklığına güvendiğimiz gibi güvenebilir miyiz, yoksa ona farklı bir güven biçimi mi gerekir? Ders 10.2, halüsinasyonu, makine çıktılarının güvenilirliğini ve makine tanıklığı kavramını inceleyecek ve sana AI Çıktı Doğrulama aracını verecek.

Günlük sorusu: Bir yapay zekâ programının sana verdiği bir cevaba, onu hiç kontrol etmeden güvendiğin bir an oldu mu? O cevabı neden güvenilir bulmuştun: içeriği yüzünden mi, yoksa dili yüzünden mi?

Tarihte bu tartışma

Düşünen makineler fikri, mekanik hesap makinelerinin icadıyla birlikte ciddiye alınmaya başladı. Descartes 1637'de makinelerin dili esnek kullanamayacağını savundu; Leibniz, on yedinci yüzyılın sonunda, akıl yürütmenin bir hesaba indirgenebileceği evrensel bir dil hayal etti. 1950'de Turing taklit oyununu önerdi; 1956'da ABD'de düzenlenen bir yaz çalıştayı, yapay zekâyı bir araştırma alanı olarak başlattı. 1966'da Weizenbaum ELIZA'yı yazdı ve 1976'da insanların makinelere kolayca zihin atfetmesinden duyduğu kaygıyı dile getirdi. 1972'de Dreyfus, yapay zekânın örtük bilgiyi yakalayamayacağını savundu. 1980'de Searle Çin Odası'nı kurdu; 1990'da Harnad sembol temellendirme sorununu formüle etti. 2017'de önerilen yeni bir ağ mimarisi, büyük dil modellerinin önünü açtı. 2020'de Bender ve Koller biçim ile anlam ayrımını keskinleştirdi, 2021'de stokastik papağan eleştirisi yayımlandı. 2022'de modellerin kendi bilgilerine dair kalibrasyonu incelendi ve bir mühendisin bilinç iddiası tartışma yarattı. 2023'te Othello çalışması modellerin iç dünya temsillerini, tersine çevirme laneti ise onların sınırlarını gösterdi; aynı yıl, var olmayan mahkeme kararlarını içeren dilekçe vakası, bu tartışmaların gündelik hayattaki sonuçlarını açıkça ortaya koydu.