Yapay zekâ defteri

Açılış

Bir perşembe öğle arasında Dr. Seda Hanım, sağlık merkezinin mutfağında çay bardağını doldururken meslektaşı Dr. Necati Bey'e sabahki hastasını anlattı. Yetmiş bir yaşında bir hastaydı; kardiyoloğun yazdığı bir ilacı yıllardır kullanıyordu, Seda Hanım da o sabah eklem ağrısı için yeni bir ilaç düşünmüştü. İkisinin birlikte kullanımından emin olmak istiyordu.

Necati Bey rahat bir sesle cevap verdi: "Onu geçen ay ben de merak ettim. Asistana sordum, birlikte kullanılabilir dedi. Doğru çıktı."

Seda Hanım telefonunu çıkardı, aynı sohbet asistanını açtı ve soruyu kendi cümleleriyle yazdı. Gelen cevap rahat değildi: iki ilacın birlikte kullanımında dikkat gerektiren bir etkileşim bulunduğunu, özellikle yaşlı hastalarda böbrek değerlerinin izlenmesi gerektiğini söylüyordu. Telefonu Necati Bey'e uzattı.

Necati Bey ekrana uzun uzun baktı. Geçen ay soruyu tam olarak nasıl yazdığını hatırlamıyordu. Hastanın yaşını eklemiş miydi? Böbrek değerlerinden söz etmiş miydi? Ayın ortası mıydı, sonu mu? Kullandığı uygulama bu muydu, yoksa bilgisayarındaki başka bir asistan mı? "Doğru çıktı" derken neyle karşılaştırdığını da söyleyemedi; hasta bir sorun yaşamamıştı, o kadar.

İlaç sorusunun cevabı bulunabilirdi; Seda Hanım iki ilacın onaylı ürün bilgisini açıp etkileşim bölümünü okuyacaktı. Bulunamayacak olan başka bir şeydi. İki cevap arasında ne değişmişti: araç mı, soru mu, yoksa aynı soru her seferinde farklı mı cevaplanıyordu? Kimse bilmiyordu, çünkü bir ay önceki deneme hiçbir yere yazılmamıştı.

Tek fikir

Bir yapay zekâ aracıyla yapılan deneme, yazılmadıysa bir aktarımdan ibarettir. Tarihi, sorunun tam metni, aracın sürümü ve cevabın neyle doğrulandığı kaydedilirse deneme başkası tarafından da tekrarlanabilir ve tartışılabilir hâle gelir.

Nasıl çalışır

Akademinin ilk dersinden beri bir defter tutuyorsun. Ders 1.1'de "Kelime avı" sayfasını açtın, sonraki her ders o deftere bir sayfa ekledi: kural ile sayımı karşılaştırdığın sayfa, aracın geniş ama sığ kaldığı yerleri işaretlediğin sayfa, eğitim anı ile kullanım anını ayırdığın sayfa, bir günün görünmeyen modelleri. Ders 1.6'da da bir iddiayı ne ölçüldüğü, kime göre ölçüldüğü ve hangi tarihte ölçüldüğü sorularıyla tarttın. Bu sayfaların her biri o dersin kendi biçimindeydi. Bu derste defteri akademinin geri kalanında kullanacağın bir düzene sokuyoruz.

Önce iki kavram gerekiyor. Necati Bey'in "doğru çıktı" demesi, Seda Hanım'ın elinde iki şey bıraktı: bir meslektaşın hatırası ve bir aracın cevabı. İkisi de ilacın ne yaptığı hakkında doğrudan bilgi değildir.

Bir sohbet asistanının cevabı, en iyi ihtimalle, birincil kaynakları okumuş bir sistemin onlardan ürettiği metindir. Cevap doğru olabilir. Ama doğru olup olmadığını cevabın kendisinden anlayamazsın; anlamak için zincirin başına, birincil kaynağa gitmen gerekir. Seda Hanım'ın açacağı ürün bilgisi bu yüzden iki cevaptan da ağırdır.

İkinci kavram, Necati Bey'in denemesinde eksik olan şeyi adlandırıyor.

Tanımın ikinci cümlesi asıl yüktür. Bir deneme ancak kaydı kadar tekrarlanabilir. Necati Bey'in denemesi yanlış olmayabilir; ama yeniden kurulamaz, çünkü koşullarının hiçbiri bilinmiyor. Seda Hanım aynı soruyu sorduğunu sanıyor, oysa soruyu kendi cümleleriyle yazdı. Aynı aracı kullandığını sanıyor, oysa bir ay içinde aracın arkasındaki model değişmiş olabilir. Aynı soruya aynı araç bile her seferinde aynı cevabı vermeyebilir; bunun nedenini, yani dil modellerinin cevabı olasılıklar arasından seçerek ürettiğini, Modül 15'te ayrıntısıyla işleyeceğiz. Bu derste sezgi yeterli: iki cevabın farkı üç ayrı yerden gelebilir ve kayıt olmadan hangisinden geldiği bilinemez.

Bilim bu sorunu yapay zekâdan çok önce tanıdı. Laboratuvarlar yüzyıllardır deney defteri tutar ve defterin işi, deneyi yapanın bile birkaç ay sonra hatırlayamayacağı ayrıntıları saklamaktır. Buna rağmen sorun bitmedi.

Yazıda anlatılan bir laboratuvar örneği kaydın neyi koruduğunu iyi gösteriyor. Kısa sürede birkaç araştırmacı ayrıldıktan sonra kalanlar deneylerinde tutarlı sonuç alamamış. Bir süre yeni sorulara ara verip yayımlanmış işlerini yeniden yapmışlar ve laboratuvar protokollerinin zaman içinde yavaş yavaş birbirinden ayrıldığını görmüşler. Kimse yanlış bir şey yapmamıştı; herkes yöntemi biraz farklı hatırlıyordu.

Yapay zekâ araçlarında aynı kayma daha da hızlıdır, çünkü yalnız kullanıcı değil araç da değişir. Bu yüzden akademinin defterinde üç tür kayıt olacak.

Deneme kaydı, bir araca bir şey yaptırdığın her seferde tutulur. Tarih ve saat, aracın adı ve görebildiğin kadarıyla sürümü, sorunun kopyalanmış tam metni, varsa eklediğin dosya ya da ayar, cevabın kritik cümlesi ve cevabı hangi kaynakla denetlediğin bu kayda girer. Son sütun doğrulamanın sonucudur: tuttu, kısmen tuttu, tutmadı.

Gözlem kaydı, aramadan karşılaştığın yapay zekâ içindir. Ders 1.5'teki görünmeyen modeller sayfası bu türdendi: tarih, yer, ne gördüğün, sistemin girdisi ve çıktısı hakkındaki tahminin ve aklında kalan soru.

Doğrulama kaydı, bir iddiayı izlediğin zaman tutulur. İddianın aynen kendisi, onu nerede ve ne zaman gördüğün, iddianın dayandığını söylediği kaynak, birincil kaynağa ulaşıp ulaşamadığın ve birincil kaynağın gerçekte ne dediği. Ders 1.6'daki üç soru bu kaydın içine yerleşir.

Üç kaydın ortak bir sütunu var: tarih. Akademinin bütün derslerinde bir kural uyguluyoruz: bir ürün ya da model hakkındaki iddia ancak yılıyla birlikte yazılır, çünkü bu yılın doğru cümlesi gelecek yıl yanlış olabilir. Defterdeki tarih, aynı kuralın senin tarafındır. "Bu araç bu soruyu yanlış cevaplıyor" diye bir not, tarihi yoksa bir yıl sonra yanıltıcıdır; "şu tarihte, şu sürümde, şu soruya şu cevap geldi" ise her zaman doğru kalan bir cümledir.

Sahada

Nerede yanılır

Defter de bir ölçüm aracıdır ve kendine özgü yanılgıları vardır. En sinsisi seçici kayıttır. İnsan ilginç sonucu yazar, sıradanı atlar: aracın şaşırtıcı biçimde yanıldığı cevap deftere girer, sorunsuz geçen on cevap girmez. Birkaç ay sonra defter aracın sık yanıldığını söyler, oysa defterin söylediği yalnızca senin neyi not etmeye değer bulduğundur. Baker'ın anlattığı ankette araştırmacıların yeniden üretim sorununun nedenleri arasında en sık andıklarından biri de seçici raporlamaydı. Çaresi basittir ama sıkıcıdır: deneme kaydını sonucu görmeden önce açmak ve sonuç ne olursa olsun doldurmak.

İkinci yanılgı özetle kayıttır. "Asistana ilaç etkileşimini sordum" bir kayıt değildir; Necati Bey'in hatırasının yazıya geçmiş hâlidir. Soru kopyalanmadıysa, bir sonraki denemede aynı soruyu sorduğunu sanırsın ve farkı araca yüklersin. Kelime değişince cevabın değişmesi aracın bir özelliğidir; bunu ancak elinde ilk sorunun tam metni varsa görebilirsin.

Üçüncüsü görünmeyen sürümdür. Bir aracın arkasındaki model kullanıcıya haber verilmeden güncellenebilir ve arayüz sürüm adını hiç göstermeyebilir. Bu durumda defterine "sürüm görünmüyor" yazmak, boş bırakmaktan iyidir; çünkü bir yıl sonra o boşluğu okuyan kişi senin sürüme bakmayı unuttuğunu sanır.

Dördüncüsü tekrarlanabilirliği doğrulukla karıştırmaktır. Aynı soruya üç gün üst üste aynı cevabı almak, cevabın kararlı olduğunu gösterir, doğru olduğunu değil. Bir araç aynı yanlışı her seferinde aynı biçimde tekrar edebilir. Tekrarlanabilirlik bir denemenin denetlenebilmesinin şartıdır; denetimin kendisi ise birincil kaynakla yapılır. Baker'ın yazısında söz alan bir mikrobiyolog, tekrarlanabilirliğin ne olduğu ya da ne olması gerektiği konusunda bile henüz uzlaşma bulunmadığını söylüyor. Bu belirsizlik defteri gereksiz kılmaz; tersine, neyi tekrar ettiğini kendi sözünle yazmanı zorunlu kılar.

Uygulama

Bu atölyede defterini akademinin geri kalanı için kuracak, üç kayıt türünün her birinden ilk örneği yazacaksın. Bir saat ayır.

Önce defterin biçimini seç. Kâğıt defter de olur, bilgisayarında bir hesap tablosu da, bir metin dosyası da. Tek şart, bir yıl sonra açabileceğin ve sayfaların sırasını koruyan bir yerde durması. Hesap tablosu seçtiysen her kayıt türüne ayrı bir sayfa aç; kâğıt seçtiysen defterin arkasından başlayarak her türe birkaç sayfa ayır.

Sonra defterin ilk sayfasını dizine çevir. Şimdiye kadar açtığın sayfaları ders koduyla birlikte buraya yaz: 1.1 Kelime avı, 1.2 Kural mı, sayım mı, 1.3 Genişlik ve derinlik, 1.4 İki an, 1.5 Görünmeyen modeller ve 1.6 Başlık ve kaynak. Bir sayfayı açmadıysan satırını yine yaz ve yanına "açılmadı" not et; dizin neyin eksik olduğunu da göstermeli. Dizinin altına üç kayıt türünün sütunlarını yaz, bu dersin Nasıl çalışır bölümündeki sırayla. Her yeni kayıtta bu sütunlara bakacaksın.

Asıl iş bundan sonra geliyor: Seda Hanım'ın mutfakta yaşadığını, bu kez kayıtlı olarak, kendin yaşayacaksın.

Üç cevabı karşılaştırırken iki ayrı soru sor. Birinci ile ikinci cevap arasında bir fark var mı? Varsa, bu fark senin elinde değildi; soru, araç ve saat aynıydı. İkinci ile üçüncü cevap arasındaki fark ise senin cümlenden de gelmiş olabilir. Bu ayrımı yazabilmen, kaydının işe yaradığının işaretidir.

Ardından bir gözlem kaydı yaz: bugün aramadan karşılaştığın bir yapay zekâ, tarihiyle, yeriyle ve sende bıraktığı soruyla. Son olarak bir doğrulama kaydı aç. Bir haberde, bir gönderide ya da bir toplantıda duyduğun yapay zekâ iddiasını aynen yaz ve kaynak zincirini izle: iddia kime dayanıyor, o kime dayanıyor? Birincil kaynağa ulaşırsan onun ne dediğini yaz; ulaşamazsan bunu da yaz. Ulaşılamayan bir birincil kaynak da bir bulgudur.

Defterin bundan sonra nasıl büyüyeceğini bilmek de işe yarar. Modül 3'ün son dersinde küçük bir veri setini bu deftere özetleyeceksin. Modül 12'de kendi metninin token sayısını ölçüp yazacaksın. Modül 16'da bir modele kendi alanından sorular sorup cevapları denetleyeceksin; o ders bugünkü deneme kaydının uzun bir sürümü olacak. Modül 20'de ise defterin birikmiş kayıtlarından kendin ya da ekibin için yazılı bir kullanım kuralı çıkaracaksın. Bugün kurduğun sütunlar o derslerin hepsinde aynı kalacak.

Defter: Bu ders defterine bir dizin ile "Denemeler", "Gözlemler" ve "Doğrulamalar" sayfalarını ekliyor. Denemeler sayfasında bugünkü üç cevaplı kayıt, Gözlemler'de bir satır, Doğrulamalar'da izlediğin iddia dursun. Dizinin altına tek cümle yaz: bugünkü üç cevabın farkı en çok neyden geldi, araçtan mı, sorunun cümlesinden mi?

Hata köşesi

Sorumluluk

Seda Hanım'ın hastasına hangi ilacı yazacağı onun kararıdır; ne Necati Bey'in hatırası ne de asistanın cevabı bu kararın sorumluluğunu taşır. Kararı ilacın onaylı ürün bilgisine, hastanın böbrek değerlerine ve kendi klinik yargısına dayandırmak zorundadır. Defter bu sorumluluğu azaltmaz, görünür kılar: bir ay sonra biri "neden bu ilacı seçtin" diye sorduğunda neyi doğruladığını ve neye dayandığını gösterebilir. Kayıt tutarken bir sorumluluk daha doğar. Deftere hasta adı, öğrenci notu, müşteri dosyası ya da işyerinin gizli bilgisi girmez; bir sağlık sorusunu denerken hastayı değil, yalnızca klinik durumu genel ifadeyle yazarsın. Defterini başkasıyla paylaştığında, içindeki her satırın kime dokunabileceğini düşünmek de senin işindir.

Kapanış

1. Birincil kaynak bir iddianın doğrudan dayandığı belgedir; bir aracın cevabı ya da bir meslektaşın aktarımı ne kadar güvenilir görünse de ikincil kalır ve denetimi birincil kaynakla yapılır.
2. Bir deneme ancak kaydı kadar tekrarlanabilir: tarih, aracın adı ve sürümü, sorunun tam metni ve doğrulama kaynağı yazılmadıysa iki farklı cevabın farkının nereden geldiği bilinemez.
3. Akademinin defteri üç tür kayıt tutar: denemeler, gözlemler ve doğrulamalar; her birinde tarih ilk sütundur, kayıt sonuç görülmeden açılır ve deftere kişisel veri girmez.

Üç soru

1. Necati Bey'in denemesini bugün yeniden kurabilmek için en az hangi bilgilerin yazılmış olması gerekirdi?
2. Aynı soruyu aynı araca iki kez sordun ve aynı cevabı aldın. Bu sonuç sana neyi söyler, neyi söylemez?
3. Bir haber "yapay zekâ bir hastalığı doktorlardan daha iyi teşhis ediyor" diyor. Bu iddia için birincil kaynak ne olurdu ve doğrulama kaydına ne yazardın?

Yanıtlar

1. Denemenin tarihi, kullanılan aracın adı ve görülebiliyorsa sürümü, sorunun kopyalanmış tam metni, soruya eklenen hasta bilgileri (yaş ve böbrek değerleri gibi, ama kimlik olmadan), gelen cevabın kritik cümlesi ve "doğru çıktı" yargısının neyle karşılaştırılarak verildiği.
2. Cevabın o koşullarda kararlı olduğunu söyler; aracın bu soruyu bu biçimde tutarlı cevapladığını gösterir. Cevabın doğru olduğunu söylemez. Bunun için cevabı bir birincil kaynakla karşılaştırman gerekir; ayrıca aracın gelecek ay aynı cevabı vereceğini de söylemez.
3. Birincil kaynak, karşılaştırmayı yapan çalışmanın kendisidir: hangi hastalarla, hangi doktorlarla, hangi ölçüte göre ve hangi tarihte yapıldığını gösteren makale. Doğrulama kaydına haberin cümlesini, haberin tarihini, haberin dayandığı kaynağı, makaleye ulaşıp ulaşamadığını ve makalenin gerçekte neyi ölçtüğünü yazarsın.

Sonraki derse köprü

Bu derste defterin sütunlarını kurduk ve ileride hangi modüllerin ona sayfa ekleyeceğini birkaç örnekle andık. Ders 1.8, Yolculuğun haritası, o örneklerin yerleştiği bütün haritayı açıyor: akademinin seviyeler hâlinde nasıl ilerlediğini, hangi öğrenme yolunun kime göre kurulduğunu ve yolun bir noktada yapay zekâyı kullanan ile yapan olarak iki dala ayrıldığını. Hangi dalı seçeceğin, defterinin hangi sayfalarla dolacağını da belirleyecek.