Halüsinasyon, güvenilirlik ve makine tanıklığı

Giriş

Kasım 2022'de Kanada'da bir yolcu, büyükannesinin ölümü üzerine uçak bileti almak için bir havayolu şirketinin internet sitesine girdi. Sitedeki sohbet programına, yas durumunda indirimli bilet imkânı olup olmadığını sordu. Program, bileti tam fiyatla alıp seyahatten sonra belirli bir süre içinde indirim için başvurabileceğini söyledi. Yolcu bu bilgiye güvenerek bileti aldı. Sonradan başvurduğunda, şirket bu tür bir geriye dönük indirimin kurallarında olmadığını söyledi. Yolcu şirketi şikâyet etti. 2024'te konuyu inceleyen Kanada'daki bir uyuşmazlık kurulu, şirketin savunmasını reddetti. Şirket, sohbet programının kendi eylemlerinden sorumlu ayrı bir varlık olduğunu öne sürmüştü; kurul ise şirketin sitesindeki bütün bilgilerden sorumlu olduğuna karar verdi.

Bir önceki derste bir dil modelinin insan anlamında bir şey bilip bilmediğini sorduk. Bu dersin sorusu daha pratik ve belki daha acil: bir model bilmese bile, onun söylediklerinden biz bilgi edinebilir miyiz? Havayolu yolcusu ve modülün vakasındaki avukat, makinenin cümlelerine bir insanın sözüne duyulan güveni gösterdi ve yanıldı. Bu derste dil modellerinin neden olmayan şeyleri emin bir sesle aktardığını, bir makinenin söylediklerinin bir tanıklık sayılıp sayılamayacağını, makinelere güvenirken insanların hangi hatalara düştüğünü ve bir yapay zekâ çıktısının nasıl sistemli olarak doğrulanacağını inceleyeceksin.

Bu dersin kazanımları:

• Halüsinasyonu, onun ortaya çıkış nedenlerini, Frankfurt'un saçmalık kavramını ve makine tanıklığı tartışmasını açıklarsın. (anla)
• Bir yapay zekâ çıktısını iddialarına ayırıp her birini birincil kaynaklarla AI Çıktı Doğrulama aracıyla sınarsın. (uygula)
• Bir makinenin çıktısına hangi koşullarda ve ne ölçüde güvenilebileceğini, otomasyon yanlılığını ve sorumluluk sorusunu hesaba katarak değerlendirirsin. (değerlendir)

Ana anlatım

Halüsinasyon nedir?

Yapay zekâ araştırmacıları, bir modelin gerçekle uyuşmayan ama akıcı ve inandırıcı bir içerik üretmesine halüsinasyon adını verir. Terim tartışmalıdır: insanlarda halüsinasyon, gerçekte olmayan bir şeyi algılamaktır; oysa dil modelinin algıladığı bir şey yoktur. Bazı araştırmacılar bu yüzden uydurma gibi terimleri tercih eder. Ama "halüsinasyon" yaygınlaştı ve bu derste de onu, belirli bir anlamda kullanacağız.

Halüsinasyonun iki türü ayırt edilir. Birincisi, bir modelin kendisine verilen bir metne sadakatsizliğidir: bir makaleyi özetlerken makalede olmayan bir iddiayı eklemesi. 2020'de Joshua Maynez ve arkadaşlarının özetleme sistemleri üzerine yayımladığı bir çalışma, bu tür sadakatsizliğin özetlerde yaygın olduğunu gösterdi. İkincisi, dünyaya karşı yanlışlıktır: modelin hiçbir kaynağa dayanmadan, genel bilgisinden yanlış bir olgu, var olmayan bir kitap ya da uydurulmuş bir mahkeme kararı üretmesi. Modülün vakasındaki avukatın karşılaştığı, bu ikinci türdü.

Halüsinasyonun en tehlikeli yanı, yanlışın biçiminin doğrunun biçiminden ayırt edilemez olmasıdır. Uydurulmuş bir akademik makale, gerçek bir makale gibi yazar adları, dergi adı, yıl ve sayfa numarasıyla gelir. Kaynak eleştirisi dersinde gördüğümüz dış eleştiri burada özellikle önemli hâle gelir: bir belgenin biçimi, onun gerçekliği hakkında hiçbir şey söylemez.

Neden olur?

Bir önceki derste gördüğümüz gibi, bir dil modeli, sıradaki kelimeyi tahmin etmek üzere eğitilir. "En olası" ile "doğru" çoğu zaman örtüşür, çünkü eğitim metinlerinde doğru bilgiler sık tekrarlanır. Ama örtüşmediği durumlar vardır. Bir modelden, eğitim verisinde hiç görmediği ya da çok az gördüğü bir konuda bilgi istendiğinde, model "bilmiyorum" demek yerine, o konuya dair olası görünen bir metin üretebilir. Bir hukuk sorusuna cevap veren bir model, bir mahkeme kararının nasıl görüneceğini çok iyi bilir; ama belirli bir kararın var olup olmadığını, eğitim verisi bu kararı içermiyorsa, bilemez.

Bu sorun, modellerin nasıl değerlendirildiğiyle de ilişkilidir. 2025'te yayımlanan bir çalışma, pek çok yaygın değerlendirme ölçütünün, "bilmiyorum" cevabına hiç puan vermediğini, tahmine ise doğru çıkma şansı kadar puan verdiğini gösterdi. Bir öğrencinin, yanlış cevabın eksi puan getirmediği bir sınavda her soruyu tahminle doldurması gibi, bu ölçütlerle geliştirilen modeller de belirsiz durumlarda tahmin yürütmeye yönelir. Bilgi termometresi dersinde gördüğümüz kalibrasyon, burada bir teşvik sorununa dönüşür: bir sistem, belirsizliğini dile getirdiği için ödüllendirilmezse, belirsizliğini gizlemeyi öğrenebilir.

Saçmalık: doğruya kayıtsızlık

Amerikalı felsefeci Harry Frankfurt, ilk olarak 1986'da bir makale olarak yayımlanan ve 2005'te küçük bir kitap olarak yeniden basılan Saçmalık Üzerine'de, yalan ile saçmalık arasında ince bir ayrım yaptı. Yalancı, doğruyu bilir ve onu gizlemeye çalışır; yalanı, doğruyla bir ilişki içindedir. Saçmalayan kişi ise doğruyla hiç ilgilenmez; söylediği şeyin doğru ya da yanlış olmasına kayıtsızdır. Amacı, dinleyicide belirli bir izlenim yaratmaktır ve bunun için doğru da söyleyebilir, yanlış da.

2024'te Michael Townsen Hicks ve arkadaşlarının yayımladığı bir makale, dil modellerinin yanlış çıktılarını "halüsinasyon" yerine Frankfurt'un anlamında saçmalık olarak adlandırmanın daha isabetli olduğunu savundu. Bir dil modeli, yalan söylemez, çünkü doğruyu bilip gizlemez; halüsinasyon da görmez, çünkü bir şey algılamaz. Model, eğitim sürecinin doğasından ötürü, doğruluğa değil inandırıcılığa yönelik metin üretir. Doğru metin ürettiğinde bile, bunu doğru olduğu için değil, olası olduğu için yapar. Bu nitelendirme sert görünebilir; yine de epistemoloji için değerli bir noktanın altını çizer: bir dil modelinin doğru çıktıları ile yanlış çıktıları aynı süreçten gelir. Doğru çıktılar, sürecin güvenilir olduğunu tek başına göstermez.

Makine tanıklık edebilir mi?

Tanıklık dersinde, bilgimizin büyük kısmının başkalarının söylediklerinden geldiğini gördük. Bir insanın bize bir şey söylemesi, belirli koşullarda, o şeyi bilmemiz için yeterli olabilir. Bir makinenin bize bir şey "söylemesi" de aynı işlevi görebilir mi?

Bu soruya iki farklı açıdan bakılabilir. Birinci açı, makineyi bir alet olarak görür. Bir termometreye, bir saate ya da bir hesap makinesine baktığımızda, bir tanıklığa değil, bir ölçüme güveniriz. Aletin güvenilirliği, onun nasıl çalıştığı ve geçmişteki başarı kaydı üzerinden değerlendirilir; güvenilircilik dersinin süreç odaklı gerekçelendirmesi burada doğrudan uygulanır. İkinci açı, dil modellerinin, bir termometreden farklı olarak, bize cümlelerle, bir insanın konuştuğu biçimde konuştuğuna dikkat çeker. Bir modelin "bu mahkeme kararı şu tarihte verilmiştir" demesi, bir termometrenin yirmi dereceyi göstermesinden çok, bir insanın bize bir şey anlatmasına benzer.

Amerikalı felsefeci Jennifer Lackey, 2008'de yayımlanan Sözcüklerden Öğrenmek'te, tanıklığın bilgi aktarması için tanığın kendisinin o şeyi bilmesinin ya da ona inanmasının gerekmediğini savundu. Lackey'nin ünlü örneğinde, evrim kuramına kişisel olarak inanmayan bir biyoloji öğretmeni, müfredatın gereği olarak evrimi doğru ve güvenilir biçimde öğretir. Öğrencileri, öğretmen inanmasa da, ondan evrim hakkında bilgi edinebilir. Lackey'ye göre önemli olan, tanığın inancı değil, ifadesinin güvenilir bir biçimde doğrulukla bağlantılı olmasıdır.

Bu görüş, makine tanıklığı için bir kapı açar. Bir dil modeli hiçbir şeye inanmıyor olabilir; ama belirli alanlarda, ifadeleri güvenilir biçimde doğruysa, ondan bilgi edinmek mümkün olabilir. Ama Lackey'nin örneğindeki öğretmenin ifadeleri, onaylanmış bir müfredata ve bilimsel bir topluluğun denetimine bağlıdır. Dil modelinin ifadelerinin böyle bir bağı olup olmadığı, her alanda ayrı ayrı sorulmalıdır.

Güven varsayılan mı, kazanılan mı?

Tanıklık dersinde, insan tanıklığına dair iki büyük görüşü tanımıştık. Reid'in görüşüne göre, aksine bir neden olmadıkça başkalarının söylediklerine güvenmek akla uygundur; güven varsayılandır. Hume'un görüşüne göre ise güven, tanıkların geçmişteki başarı kaydı gözlemlenerek kazanılmalıdır. İnsan tanıklığında Reid'in görüşünün güçlü bir gerekçesi vardır: insanlar, doğruyu söyleme normlarıyla yetişir, yalan söylediklerinde utanç ve toplumsal yaptırımla karşılaşır ve söylediklerinden sorumlu tutulabilirler.

Dil modelleri için bu gerekçelerin hiçbiri aynı biçimde geçerli değildir. Bir model, doğruyu söyleme normunu içselleştirmiş bir kişi değildir; yanıldığında utanç duymaz ve söylediklerinden, havayolu vakasının gösterdiği gibi, ancak onu kullanan kurum aracılığıyla sorumlu tutulabilir. Bu yüzden makine tanıklığına karşı, Reid'in varsayılan güveninden çok, Hume'un kazanılan güvenine yakın bir tutum daha uygun görünür: bir modelin belirli bir alandaki çıktılarına, o alandaki başarı kaydı bilindiği ölçüde güvenmek. Bu, modellerin hiçbir şekilde güvenilmez olduğu anlamına gelmez; güvenin alana özgü ve kanıta dayalı olması gerektiği anlamına gelir.

Otomasyon yanlılığı

Makinelere güvenmenin bir psikolojik tuzağı daha vardır. Amerikalı araştırmacılar Raja Parasuraman ve Victor Riley, 1997'de yayımladıkları bir makalede, insanların otomatik sistemleri üç farklı biçimde yanlış kullanabildiğini tartıştı: onlara fazla güvenmek, onlara hiç güvenmemek ve onları uygun olmayan işlerde kullanmak. Linda Skitka ve arkadaşları, 1999'da yayımladıkları deneylerde, otomatik bir karar destek sistemi kullanan katılımcıların, sistemin uyarmadığı sorunları gözden kaçırdığını ve sistemin yanlış önerilerini, kendi gözlemleri bu önerilerle çelişse bile, izlediğini gösterdi. Bu olguya otomasyon yanlılığı denir.

Dil modelleri, otomasyon yanlılığını güçlendirebilecek özelliklere sahiptir. Akıcı, kendinden emin ve kişisel bir dille konuşurlar; bir önceki derste gördüğümüz ELIZA etkisi, onlara bir uzman gibi güvenmemizi kolaylaştırır. Ayrıca çoğu zaman doğru cevaplar verdikleri için, kullanıcılar zamanla onları kontrol etmeyi bırakır. Uzman seçme dersinde gördüğümüz başarı kaydı ölçütü burada ters işler: bir modelin sık sık haklı çıkması, onun belirli bir soruda yanılabileceğini unutturur.

Kendi kendini doğrulayamamak

Modülün vakasındaki avukat, programın ürettiği kararların gerçek olup olmadığını programa sordu ve program "evet" dedi. Bu, belki de makine çıktılarını değerlendirirken yapılan en öğretici hatadır. Bir modelin kendi çıktısını doğrulaması, bağımsız bir kontrol değildir; aynı sürecin ikinci kez çalışmasıdır. Kaynak üçgenleme dersindeki dairesel doğrulama gibi, bir kaynak kendi kendini kaynak gösterir.

Bazı sistemler, bu soruna karşı, cevap verirken belirli belgelere ya da internetteki kaynaklara başvurur ve bu kaynakları kullanıcıya gösterir. Bu, önemli bir ilerlemedir: kullanıcıya, iddiayı birincil kaynakla karşılaştırma imkânı verir. Ama kaynak gösterilmesi, doğrulamanın kendisi değildir. Model, gerçek bir kaynağı gösterip onun söylemediği bir şeyi ona atfedebilir; ya da kaynağı doğru okuyup yanlış özetleyebilir. Maynez ve arkadaşlarının gösterdiği sadakatsizlik türü burada yeniden karşımıza çıkar. Gösterilen kaynağa gidip iddianın orada gerçekten yazılı olup olmadığına bakmak, kullanıcının görevidir.

Sorumluluk kimde?

Makine tanıklığının en önemli toplumsal sorusu, sorumluluktur. İnsan tanıklığında, yanlış bilgi veren bir tanık, bir uzman ya da bir gazeteci, belirli koşullarda sorumlu tutulabilir. Bir makinenin yanlış çıktısından kim sorumludur? Havayolu vakasındaki uyuşmazlık kurulunun cevabı açıktı: bir kurum, müşterilerine sunduğu bilgilerden, bu bilgiyi bir insan ya da bir program vermiş olsun, sorumludur. Avukat vakasında hâkimin cevabı da benzerdi: bir avukat, mahkemeye sunduğu belgelerin doğruluğundan, bu belgeleri hangi araçla hazırlamış olursa olsun, sorumludur.

Bu vakaların ardından, bazı mahkemeler ve kurumlar, yapay zekâ kullanımına dair yeni kurallar getirdi. Aynı yıl Teksas'ta görev yapan bir federal hâkim, önündeki davalarda avukatların, yapay zekâ ile hazırlanmış herhangi bir metnin bir insan tarafından geleneksel kaynaklarla doğrulandığını belgelemelerini zorunlu kılan bir talimat yayımladı. Epistemolojik açıdan bu, önemli bir ilkeyi kurumsallaştırır: bir makine, bir bilgi kaynağı olabilir, ama bir bilginin sorumluluğunu taşıyan tanık, onu kullanan insandır. Epistemik bağımlılık dersinde gördüğümüz, bilgi zincirinde her halkanın sorumluluğu, burada makineyi kullanan kişiye yüklenir.

AI Çıktı Doğrulama

AI Çıktı Doğrulama, makineden gelen bir metni sistemli olarak doğrulamanın adımlarını düzenler. Önce çıktıyı iddialara bölersin: uzun bir cevabı, her biri tek başına doğru ya da yanlış olabilecek küçük iddialara ayır. İkinci olarak iddiaları sınıflandırırsın: hangisi kontrol edilebilir bir olgu, yani bir isim, bir tarih, bir sayı, bir kaynak; hangisi bir çıkarım; hangisi bir görüş ya da öneri? Üçüncü olarak birincil kaynağa gidersin: kontrol edilebilir her olgu için, modelin kendisine değil, bağımsız ve birincil bir kaynağa bak; model bir kaynak gösterdiyse, kaynağın gerçekten var olduğunu ve iddiayı gerçekten söylediğini kontrol et. Dördüncü olarak alan ve riski değerlendirirsin: bu model bu alanda ne kadar güvenilir; yanlış bir iddianın bedeli ne kadar yüksek? Hukuk, tıp ve finans gibi alanlarda, küçük bir hatanın bedeli büyüktür. Son olarak kaydı ve sorumluluğu netleştirirsin: hangi iddiaları doğruladın, hangilerini doğrulayamadın; çıktıyı kullanırken bunu açıkça belirtiyor musun?

Kaynak kapısına ait bu araç, makineden gelen bir metni tek bir kaynak olarak değil, her biri ayrı ayrı sınanması gereken iddialardan oluşan bir metin olarak ele alır. Bir makinenin akıcı dili, bir tanığın güvenilirliğinin yerine geçmez; güvenilirlik, iddia iddia kurulur.

Örnekler

Basit örnek: tarifi büyütmek

Dört kişilik bir kek tarifini on iki kişilik hâle getirmek için bir sohbet programından yardım istiyorsun. Program, bütün malzemeleri üçle çarpıp yeni bir liste veriyor ve pişirme süresini de üç katına çıkarmanı öneriyor. AI Çıktı Doğrulama'yı uygulayalım. İddialara bölme: her malzeme miktarı ayrı bir iddia; pişirme süresi ayrı bir iddia. Sınıflandırma: malzeme miktarları basit aritmetik, kontrol edilebilir; pişirme süresi bir çıkarım. Birincil kaynak: aritmetiği kendin kontrol edebilirsin. Pişirme süresi için ise deneyimli bir fırıncının ya da güvenilir bir yemek kitabının bilgisi gerekir: büyük bir kek, genellikle aynı sıcaklıkta daha uzun pişer, ama üç katı süre, dış yüzeyi yakarken içini çiğ bırakabilir; ayrıca kalıbın boyutu önemlidir. Alan ve risk: düşük risk; en kötü ihtimalle bir kek bozulur. Kayıt: aritmetik doğrulandı, pişirme süresi doğrulanamadı; bu yüzden fırının başında kalıp kontrol etmek gerekir. Sonuç: bu basit örnekte bile, modelin çıktısı, bir kısmı doğru bir hesap, bir kısmı olası görünen ama yanlış bir çıkarım içeriyor. İkisi aynı akıcı dille sunulduğu için, ayırt etmek kullanıcıya kalıyor.

Orta örnek: ödevdeki kaynakça

Bir üniversite öğrencisi, bir dönem ödevi için bir dil modelinden, konusuyla ilgili akademik kaynakların bir listesini istiyor. Model, yazar adları, makale başlıkları, dergi adları ve yıllarıyla on kaynaklık düzgün bir liste veriyor. Öğrenci bu listeyi olduğu gibi ödevine eklemek üzere. AI Çıktı Doğrulama'yı uygulayalım. İddialara bölme: her kaynak ayrı bir iddia, "bu yazar, bu yılda, bu dergide, bu başlıkla bir makale yayımladı". Sınıflandırma: hepsi kontrol edilebilir olgular. Birincil kaynak: öğrenci her kaynağı üniversite kütüphanesinin veri tabanında ya da akademik arama motorlarında arıyor. Bazı kaynaklar tam olarak bulunuyor; bazılarında yazar gerçek ama böyle bir makalesi yok; bazıları ise tamamen uydurulmuş. 2023'te yayımlanan bir çalışma, dil modellerinin ürettiği akademik kaynakçalarda uydurulmuş kaynakların hiç de az olmadığını göstermişti. Alan ve risk: akademik bir ödevde uydurulmuş kaynak, akademik dürüstlük ihlali sayılabilir; risk yüksek. Kayıt: öğrenci yalnızca kendisinin bulup okuduğu kaynakları kullanıyor. Sonuç: bu örnek, halüsinasyonun en tipik biçimini gösterir: gerçek bir kaynakçanın biçimi kusursuzca taklit edilmiş, ama içeriği dünyayla bağını yitirmiştir. Model, bir kaynakçanın nasıl göründüğünü biliyor; belirli kaynakların var olup olmadığını bilmiyor.

Gerçek hayat örneği: havayolu sohbet programı

Girişteki vakaya dönelim ve AI Çıktı Doğrulama'yı, bilet almadan önce yolcunun yapabileceği biçimde uygulayalım. İddialara bölme: "yas durumunda indirimli bilet var" ve "indirim için seyahatten sonra başvurulabilir" iki ayrı iddia. Sınıflandırma: ikisi de kontrol edilebilir olgular; şirketin resmî kurallarında yazılı olmaları gerekir. Birincil kaynak: sohbet programının kendi cevabında, şirketin yas indirimi politikasını anlatan sayfasına bir bağlantı vardı. O sayfa, indirimin seyahatten önce talep edilmesi gerektiğini söylüyordu. Programın cevabı, gösterdiği kaynakla çelişiyordu. Alan ve risk: bir bilet fiyatı söz konusu; orta düzeyde bir mali risk. Kayıt: yolcu, programın iddiasını bağlantıdaki sayfayla karşılaştırsaydı çelişkiyi görebilirdi. Ama yolcunun bunu yapmasını beklemek adil miydi? Uyuşmazlık kurulu hayır dedi: bir müşterinin, şirketin sitesindeki bir bölümün başka bir bölümüyle çeliştiğini kontrol etmesi beklenemezdi; şirket, sitesindeki bütün bilgilerden sorumluydu. Sonuç: bu vaka, doğrulama sorumluluğunun yalnızca bireysel kullanıcıda değil, bir makinenin çıktısını müşterilerine sunan kurumda da olduğunu gösterir. Epistemik hijyen, hem bireyin hem de kurumun işidir.

Vakaya dönüş

Modülün vakasındaki avukata, bu kez dilekçeyi mahkemeye sunmadan önce yapması gereken biçimde, AI Çıktı Doğrulama'yı uygulayalım. İddialara bölme: dilekçedeki her mahkeme kararı atfı ayrı bir iddiadır; her biri "bu mahkeme, bu tarihte, bu davada, bu gerekçeyle karar verdi" iddiasını taşır. Sınıflandırma: hepsi, hukuk veri tabanlarında kolayca kontrol edilebilir olgulardır. Birincil kaynak: avukat, her kararı bir hukuk veri tabanında aramalı, kararın tam metnini bulup okumalıydı. Bunun yerine, aynı programa kararların sahici olup olmadığını danıştı; bu, birincil kaynağa gitmek değil, aynı kaynağa ikinci kez danışmaktı.

Alan ve risk: hukuk, bir makinenin hatasının bedelinin çok yüksek olduğu bir alandır; mahkemeye sunulan belgeler bir müvekkilin davasını, bir avukatın meslek itibarını ve mahkemenin işleyişini etkiler. Hukuk dersinin kanıt merdiveni burada da işler: mahkemeye sunulacak bir belge, merdivenin yüksek basamaklarındadır. Kayıt ve sorumluluk: avukat, programın çıktısını doğrulanmış bir araştırma gibi sundu. Hâkimin kararı, sorumluluğun makinede değil avukatta olduğunu açıkça belirtti.

Bu vakanın en derin dersi, bir önceki dersin bulgusuyla birleştiğinde ortaya çıkar. Program, hukuki bir metnin kalıbını kurma becerisine sahipti, ama tek tek kararların gerçekte bulunup bulunmadığına dair hiçbir güvence taşımıyordu. Lackey'nin ifade görüşüne göre, bir makinenin ifadelerinden bilgi edinmek, bu ifadelerin güvenilir biçimde doğrulukla bağlantılı olmasını gerektirir. Bu programın, bu alanda, bu tür ifadeler için böyle bir bağlantısı yoktu. Avukat, bir makinenin sesini bir tanığın güvenilirliği sandı.

Araç kartı: AI Çıktı Doğrulama

Egzersiz

Çıktıya AI Çıktı Doğrulama'nın beş adımını uygula. İddiaları numaralandır ve her biri için birincil bir kaynak bul. Gösterilen kaynakların her birinin gerçekten var olup olmadığını ve söylendiği şeyi gerçekten söyleyip söylemediğini kontrol et. Sonuçları bir tabloya dök: kaç iddia doğrulandı, kaçı yanlış çıktı, kaçı doğrulanamadı? Günlüğüne, yanlış çıkan iddiaların dilinin doğru çıkanlardan ayırt edilip edilemediğini ve bu deneyimden sonra bu programı hangi işler için kullanmaya devam edeceğini yaz.

Mini test

1. Halüsinasyonun iki türü nedir ve bunların en tehlikeli ortak özelliği nedir?
2. Değerlendirme ölçütleri, dil modellerinin belirsiz durumlarda tahmin yürütmesine nasıl katkıda bulunabilir?
3. Frankfurt'un yalan ile saçmalık ayrımı nedir ve Hicks ve arkadaşları bunu dil modellerine nasıl uyguladı?
4. Lackey'nin ifade görüşü makine tanıklığına nasıl bir kapı açar ve bu kapının sınırı nedir?
5. Bir hasta, bir sohbet programına kullandığı iki ilacın birlikte alınıp alınamayacağını soruyor; program, "bu iki ilaç arasında bilinen bir etkileşim yoktur" diyor. AI Çıktı Doğrulama ile değerlendir.

Özet

• Halüsinasyon, bir modelin gerçekle ya da kendisine verilen kaynakla uyuşmayan ama inandırıcı içerik üretmesidir; sadakatsizlik ve dünyaya karşı yanlışlık olmak üzere iki türü vardır ve yanlışın biçimi doğrunun biçiminden ayırt edilemez.
• Halüsinasyon, modellerin olası olanı üretmesinden ve belirsizliği ödüllendirmeyen değerlendirme teşviklerinden kaynaklanır.
• Frankfurt'un saçmalık kavramı, doğruya kayıtsız konuşmayı tanımlar; Hicks ve arkadaşları dil modellerinin çıktılarını bu kavramla nitelendirdi.
• Lackey'nin ifade görüşü, tanığın inancı olmadan da tanıklıkla bilgi aktarılabileceğini savunur; makine tanıklığında güven, Reid'in varsayılan güveninden çok Hume'un kazanılan güvenine yakın olmalıdır.
• Otomasyon yanlılığı (Parasuraman ve Riley, Skitka), otomatik sistemlere fazla güvenmeyi açıklar; bir modelin kendi çıktısını doğrulaması dairesel bir kontroldür.
• Havayolu ve avukat vakaları, sorumluluğun makinede değil onu kullanan kişi ve kurumda olduğunu gösterdi. AI Çıktı Doğrulama, bir çıktıyı iddialara ayırıp birincil kaynaklarla sınar.

Flashcard'lar

Sonraki derse köprü

Bu derste bir yapay zekâ çıktısının iddia iddia doğrulanmasını önerdik. Ama bu, önemli bir soruyu da beraberinde getirir: her çıktıyı titizlikle doğrulamamız gerekiyorsa, makineyi kullanmanın ne anlamı kalır? Öte yandan doğrulamayı bırakırsak, yalnızca yanılma riskini değil, bir başka bedeli de göze alırız: bir işi makineye devrettikçe, o işi kendimiz yapma becerimizi yitirebiliriz. Yol bulmayı navigasyon programlarına, hesap yapmayı hesap makinelerine, hatırlamayı telefonlarımıza bıraktık; bedenlenmiş biliş dersinde gördüğümüz genişlemiş zihin fikri, bu devretmenin bazen zihnin doğal bir uzantısı olduğunu söylüyordu. Peki hangi işi devretmek akla uygundur, hangisini devretmek bizi kırılgan kılar? Ders 10.3, bilgiyi makineye devretmenin bedellerini inceleyecek ve sana Devretme Kararı Matrisi'ni verecek.

Günlük sorusu: Makineden aldığın bir bilgiyi en son ne zaman başka bir kaynaktan kontrol ettin? O kontrol, programa güvenini artırdı mı, azalttı mı?

Tarihte bu tartışma

Aletlere güvenmenin epistemolojisi, bilimsel aletlerin tarihi kadar eskidir. 1610'da Galileo teleskopla Jüpiter'in uydularını gözlemlediğini açıkladığında, bazı çağdaşları teleskopun gördüklerini gerçek değil, aletin yarattığı yanılsamalar olarak değerlendirdi; bir aletin güvenilirliği, ancak zamanla ve başka gözlemlerle kurulabildi. Tanıklığa güvenin koşulları, on sekizinci yüzyılda Hume ve Reid arasındaki tartışmada biçimlendi. 1986'da Frankfurt saçmalık kavramını tanımladı. 1997'de Parasuraman ve Riley otomasyonun yanlış kullanım biçimlerini, 1999'da Skitka ve arkadaşları otomasyon yanlılığını inceledi. 2008'de Lackey tanıklığın ifade görüşünü savundu. 2020'de Maynez ve arkadaşları özetleme sistemlerindeki sadakatsizliği gösterdi. 2023'te uydurma içtihatlarla dolu dilekçe olayı yaşandı ve bazı hâkimler yapay zekâ kullanımına dair talimatlar yayımladı; aynı yıl yapılan çalışmalar, dil modellerinin ürettiği akademik kaynakçalardaki uydurmaları belgeledi. 2024'te Kanada'daki havayolu kararı, bir kurumun sohbet programının söylediklerinden sorumlu olduğunu kabul etti; aynı yıl Hicks ve arkadaşları, dil modellerinin çıktılarını Frankfurt'un kavramıyla yeniden adlandırdı. 2025'te yayımlanan bir çalışma, halüsinasyonun kısmen değerlendirme teşviklerinden kaynaklandığını savundu.