İçeriğe geç

Ders 10.4 · Modül 10: Yapay Zeka Epistemolojisi

İnsan–AI epistemik işbirliği protokolleri

Araç: İşbirliği Protokolü · 5K: Beş kapı · 3.439 kelime · yaklaşık 16 dakika okuma

Bu ders programın önceki sürümündendir (v1) ve yeni program tamamlanana kadar arşivde okunur kalır. Yeni programa geç

Giriş

1997'de dünya satranç şampiyonu Garri Kasparov, bir bilgisayar programına karşı oynadığı altı oyunluk bir maçı kaybetti. Bu yenilgi, makinelerin insan zekâsını geride bırakmaya başladığının simgesi olarak anıldı. Ama Kasparov'un bu yenilgiden çıkardığı sonuç farklıydı. Bir yıl sonra, oyuncuların her birinin yanında bir satranç programının bulunduğu, insan ile makinenin birlikte oynadığı bir turnuva biçimi önerdi. 2005'te, herkesin istediği kadar bilgisayar desteği kullanabildiği serbest bir çevrim içi turnuvada, sonuç şaşırtıcıydı: turnuvayı, güçlü programlarla oynayan büyükustalar da değil, tek başına en güçlü programlar da değil, birkaç sıradan bilgisayarı ustaca yöneten iki amatör oyuncudan oluşan bir ekip kazandı. Kasparov sonradan bunu şöyle yorumladı: iyi bir süreçle çalışan zayıf bir insan ile makine, kötü bir süreçle çalışan güçlü bir insan ile makineden daha iyi sonuç verebilir.

Bu modülde bir dil modelinin bilip bilmediğini, çıktısına ne zaman güvenilebileceğini ve hangi işlerin ona devredilebileceğini sorduk. Modülün son dersi, bu soruların pratik sonucunu soruyor: insan ile yapay zekâ birlikte nasıl daha iyi düşünebilir? Kasparov'un gözlemi bir ipucu verir: fark, çoğu zaman insanın ya da makinenin gücünden değil, ikisini birbirine bağlayan süreçten gelir. Bu derste insanla makinenin birlikte çalıştığı durumlarda ortaya çıkan başarıları ve başarısızlıkları, iki yönlü güven hatalarını, insanlar arası epistemik işbirliğinden öğrenilebilecekleri ve 5K'nın sorularını ortak bir çalışma düzenine dönüştürmenin yolunu inceleyeceksin. Modülün projesi de bu derste tamamlanacak.

Bu dersin kazanımları:

  • Tamamlayıcılık, algoritma kaçınması ve pürüzlü sınır kavramlarını ve iyi bir insan–AI sürecinin özelliklerini açıklarsın. (anla)
  • Bir insan–AI çalışma sürecini rolleri, doğrulama adımlarını ve anlaşmazlık kurallarını içeren bir İşbirliği Protokolü olarak tasarlayıp uygularsın. (uygula)
  • Bir insan–AI işbirliğinin gerçekten ikisinin tek başına olduğundan daha iyi sonuç verip vermediğini ve neden verdiğini değerlendirirsin. (değerlendir)

Ana anlatım

Birlikte daha iyi mi?

İnsanla makinenin birlikte, her birinin tek başına olduğundan daha iyi sonuç verdiği duruma tamamlayıcılık denir. Bu, kendiliğinden gerçekleşen bir şey değildir. İnsanın ve makinenin güçlü yanları farklıysa, yani biri ötekinin hatalarını yakalayabiliyorsa, tamamlayıcılık mümkündür. Ama ikisi aynı hataları yapıyorsa ya da insan makinenin hatalarını fark edemiyorsa, birlikte çalışmak yalnızca daha zayıf olanın düzeyine inebilir.

Tamamlayıcılığın ne kadar kırılgan olduğunu gösteren çalışmalar vardır. 2023'te Nikhil Agarwal ve arkadaşlarının radyologlarla yaptığı bir deneyde, radyologlara göğüs röntgenlerini değerlendirirken bir yapay zekâ sisteminin tahminleri de gösterildi. Sistem tek başına pek çok radyologdan daha isabetliydi. Ama radyologların sistemle birlikte verdiği kararlar, ortalamada, yalnızca kendi kararlarından belirgin biçimde daha iyi değildi. Araştırmacılar bunun bir nedenini, radyologların sistemin bilgisini kendi gözlemleriyle doğru biçimde birleştirememesinde buldu: bazen sistemin tahminine yeterince ağırlık vermiyor, bazen de kendi bilgileriyle sistemin bilgisini, gerçekte birbiriyle ilişkili oldukları hâlde, bağımsız kanıtlar gibi topluyorlardı. Tanıklık dersinin bağımsızlık şartı, burada bir laboratuvar bulgusu olarak geri döner.

Pürüzlü sınır

2023'te Fabrizio Dell'Acqua ve arkadaşlarının büyük bir danışmanlık şirketinde yaptığı bir deney, bu tabloya önemli bir ayrıntı ekledi. Danışmanlara bir dizi gerçekçi iş görevi verildi; bir kısmı yapay zekâ desteğiyle, bir kısmı desteksiz çalıştı. Yapay zekânın iyi olduğu görevlerde, destek alan danışmanlar işi daha hızlı ve daha nitelikli yaptı. Ama araştırmacıların bilerek seçtiği, yapay zekânın dışarıdan kolay görünmesine rağmen iyi yapamadığı bir görevde, destek alan danışmanların doğru cevaba ulaşma olasılığı, destek almayanlardan daha düşüktü.

Araştırmacılar bu durumu bir pürüzlü sınır imgesiyle anlattı. Yapay zekânın yetenekleri düzgün bir çizgiyle sınırlanmış değildir: benzer görünen iki görevden birini çok iyi, ötekini çok kötü yapabilir. Sorun, bu sınırın kullanıcıya görünmemesidir. Bir aracın bir işte başarılı olması, komşu bir işte de başarılı olacağına dair bir güvence vermez. Uzmanlığın alana özgü olduğunu ustalık dersinden biliyoruz; bu fikir burada makineler için de geçerlidir; ama makinenin akıcı dili, alanın sınırına geldiğini haber vermez.

Aynı çalışmada araştırmacılar, başarılı kullanıcıların iki farklı çalışma biçimi geliştirdiğini gözlemledi. Bazıları işi açıkça bölüyor, bazı alt görevleri kendileri yapıp bazılarını makineye bırakıyordu. Bazıları ise makineyle sürekli bir etkileşim içinde, her adımda onun çıktısını sorgulayıp yönlendirerek çalışıyordu. İki biçimin ortak noktası, kullanıcının, makinenin çıktısını ne zaman sorgulayacağını bilmesiydi.

İki yönlü güven hatası

Halüsinasyon dersinde otomasyon yanlılığını, yani makineye fazla güvenme eğilimini gördük. Ama bunun tersi de vardır. Amerikalı araştırmacılar Berkeley Dietvorst, Joseph Simmons ve Cade Massey, 2015'te yayımladıkları bir çalışmada, katılımcılara bir tahmin görevi verdi ve onlara kendi tahminleri ile bir istatistiksel modelin tahmini arasında seçim yapma imkânı tanıdı. Model, ortalamada insanlardan daha isabetliydi. Ama katılımcılar modelin bir kez yanıldığını gördükten sonra, ona güvenmeyi bırakıp kendi, daha isabetsiz tahminlerine döndü; oysa kendi hatalarını gördüklerinde kendilerine olan güvenlerini aynı ölçüde kaybetmediler. Araştırmacılar buna algoritma kaçınması adını verdi.

Otomasyon yanlılığı ve algoritma kaçınması, aynı sorunun iki yüzüdür: makineye olan güvenimizi, onun gerçek başarı kaydına göre değil, dikkat çekici tek tek olaylara göre ayarlarız. Uzman seçme dersinde, bir uzmana güvenmenin en sağlam ölçütünün başarı kaydı olduğunu görmüştük. Aynı ölçüt makineler için de geçerlidir; ama makinenin başarı kaydını, onun belirli bir alandaki başarı kaydı olarak düşünmek gerekir. Pürüzlü sınır, genel bir güven düzeyi yerine, alana özgü bir güven haritası gerektirir.

İnsanlar arası işbirliğinden dersler

İnsanla makinenin birlikte düşünmesi yeni bir sorundur; ama insanların birlikte düşünmesi eski bir sorundur ve ondan öğrenilecek çok şey vardır. Grup bilgisi dersinde, grupların bireylerden daha isabetli olabileceğini, ama bunun için üyelerin yargılarının bağımsız olması gerektiğini gördük. Daniel Kahneman, Olivier Sibony ve Cass Sunstein, 2021'de yayımlanan Gürültü'de, bu ilkeyi karar hijyeni adını verdikleri bir dizi uygulamaya dönüştürdü. En önemlilerinden biri şudur: bir ekibin üyeleri, tartışmaya başlamadan önce, kendi yargılarını bağımsız olarak kaydetmelidir. Aksi hâlde ilk konuşan kişinin görüşü, bir çapa gibi, herkesin yargısını çeker.

Bu ilke, insan–AI işbirliğine doğrudan uygulanır. Bir yapay zekânın cevabını gördükten sonra kendi yargımızı oluşturmaya çalışırsak, tanı dersindeki çapalama etkisiyle, onun cevabına çekiliriz. Agarwal ve arkadaşlarının radyologlarda gördüğü birleştirme hatası da kısmen buradan kaynaklanır. Daha iyi bir süreç, önce kendi yargını bağımsız olarak kaydetmek, sonra makinenin cevabına bakmak ve ikisi arasındaki farkı açıkça incelemektir. Fark varsa, bu fark bir bilgi kaynağıdır: ya sen bir şeyi kaçırdın, ya da makine.

Havacılık bu konuda uzun bir deneyime sahiptir. 1977'de Tenerife'de iki yolcu uçağının pistte çarpışması, havacılık tarihinin en ölümcül kazası oldu; soruşturmalar, kokpitteki hiyerarşinin, deneyimli kaptanın hatasını ekibin diğer üyelerinin sorgulamasını zorlaştırdığını gösterdi. Bu kaza ve benzerlerinin ardından havacılıkta ekip kaynak yönetimi adı verilen bir eğitim yaklaşımı gelişti: ekip üyelerinin gözlemlerini açıkça dile getirmesi, en deneyimli kişinin kararlarını bile sorgulayabilmesi ve kritik adımların kontrol listeleriyle doğrulanması. Amerikalı cerrah Atul Gawande, 2009'da yayımlanan Kontrol Listesi Manifestosu'nda, bu yaklaşımın tıbba nasıl taşınabileceğini anlattı. Bu uygulamaların ortak dersi şudur: iyi bir epistemik işbirliği, iyi niyetten değil, yapılandırılmış bir süreçten doğar.

Anlaşmazlık olduğunda

İnsan ile yapay zekâ arasındaki bir anlaşmazlık nasıl çözülmelidir? Akran anlaşmazlığı dersinde, eşit derecede yetkin iki kişinin anlaşmazlığında ne yapılması gerektiğini tartışmıştık. Ama insan ile yapay zekâ akran değildir: güçlü ve zayıf yanları farklıdır ve bu farklar alana göre değişir. Bu yüzden anlaşmazlıkta tek bir genel kural yerine, alana ve riske göre önceden belirlenmiş kurallar gerekir.

Bu kurallar birkaç biçim alabilir. Bazı alanlarda, anlaşmazlık bir üçüncü kontrolü tetikleyebilir: bir meslektaşa danışmak, birincil bir kaynağa bakmak, ek bir test yapmak. Bazı alanlarda, makinenin sistemli olarak daha isabetli olduğu biliniyorsa, insanın kararı değiştirmek için gerekçesini yazması istenebilir. Bazı alanlarda ise, hukuk ve tıp gibi sorumluluğun insanda olduğu alanlarda, son sözü insanın söylemesi ama bunu makinenin itirazını okuyup cevaplayarak yapması gerekir. Önemli olan, anlaşmazlık anında kuralı icat etmek yerine, onu önceden belirlemektir; çünkü anlaşmazlık anında, hem otomasyon yanlılığı hem de algoritma kaçınması en güçlü hâlindedir.

Makineye karşı görüş sordurmak

Dil modellerinin epistemik işbirliğindeki belki de en az kullanılan gücü, karşı görüş üretme kapasitesidir. Bir dil modeline bir görüşü savunmasını istemek yerine, o görüşe yöneltilebilecek en güçlü itirazları sıralamasını istemek mümkündür. Akran anlaşmazlığı dersinde ve kendi inanç sistemini denetleme dersinde, kendi görüşümüze karşı en güçlü itirazı, karşı tarafın da imzalayacağı bir biçimde kurmanın önemini gördük. Bir dil modeli, bu işte yorulmaz bir yardımcı olabilir.

Ama burada da dikkat gerekir. Modelin ürettiği itirazlar, halüsinasyon dersinde gördüğümüz gibi, gerçek bir tartışmaya dayanmayan, olası görünen ama zayıf itirazlar olabilir. Ayrıca modeller, kullanıcının yönlendirmesine duyarlıdır: soru "bu görüş neden doğru?" diye sorulursa destekleyici, "bu görüş neden yanlış?" diye sorulursa eleştirel cevaplar üretmeye yatkındır. Bu, bir modelin karşı görüşlerini, bir insan eleştirmenin itirazları gibi değil, sınanması gereken aday itirazlar olarak ele almayı gerektirir.

Sorumluluk ve anlamlı denetim

İnsan–AI işbirliğinin son ve belki en önemli ilkesi, sorumluluğun belirsizleşmemesidir. Bir karar insan ile makinenin birlikte çalışmasıyla verildiğinde, bir hata olduğunda insan "makine öyle söyledi", kurum ise "son kararı insan verdi" diyebilir. Sorumluluğun bu biçimde iki taraf arasında kaybolması, halüsinasyon dersindeki havayolu ve avukat vakalarının gösterdiği gibi, hukuk tarafından da kabul görmemektedir. Bu yüzden iyi bir işbirliği protokolü, en başta kimin neden sorumlu olduğunu açıkça yazar.

İnsanın bir süreçte bulunması, onun anlamlı bir denetim yaptığı anlamına gelmez. Devretme dersinde gördüğümüz otomasyonun ironileri, sürekli onaylayan ama gerçekte hiçbir şeyi sorgulamayan bir insanın, sürecin güvenliğini artırmadığını gösterir. Anlamlı denetim, insanın makinenin çıktısını gerçekten değerlendirebilecek bilgiye, zamana ve yetkiye sahip olmasını gerektirir. Bir protokol, insanı sürecin içine yalnızca bir onay düğmesi olarak koyuyorsa, bu bir işbirliği değil, sorumluluğun kâğıt üzerinde bir insana yüklenmesidir.

İşbirliği Protokolü

İşbirliği Protokolü, 5K'nın beş sorusunu bir insan–AI çalışma sürecinin adımlarına dönüştürür. Protokol, iş başlamadan önce yazılır. Kavram: görevi ve rolleri tanımla; iş tam olarak nedir, hangi alt görevleri makine, hangilerini insan yapacak, kim denetleyecek ve kim karar verecek? Kaynak: makinenin nelere dayanacağını belirle; ona hangi belgeleri vereceksin, hangi bilgilerin birincil kaynaktan doğrulanması gerekecek? Makinenin cevabını görmeden önce kendi bağımsız yargını kaydet. Kanıt: kritik iddiaları AI Çıktı Doğrulama ile sına; hangi iddiaların doğrulanması zorunlu, hangilerinin isteğe bağlı olduğunu önceden yaz. Karşı-görüş: makineden en güçlü itirazları iste ve onları aday itirazlar olarak sına; mümkünse ikinci bir insanın bağımsız okumasını al; insan ile makine anlaşmazsa hangi kuralın uygulanacağını önceden belirle. Kesinlik: kararın gerektirdiği kanıt eşiğini belirle, sonuca ne kadar güvendiğini yaz ve kararı, gerekçesi ve sorumlusuyla birlikte kaydet.

Protokol, bir insan–AI sürecini iyi niyete ya da aracın gücüne değil, önceden yazılmış rollere, bağımsız yargıya, zorunlu doğrulamalara, anlaşmazlık kurallarına ve açık sorumluluğa dayandırır.

Örnekler

Basit örnek: yabancı dilde resmî bir e-posta

İngilizce bilgin orta düzeyde; yurt dışındaki bir kuruma, bir başvurunla ilgili resmî bir e-posta yazman gerekiyor. Bir yapay zekâ aracından yardım almak istiyorsun. İşbirliği Protokolü'nü uygulayalım. Kavram: görev, doğru ve kibar bir resmî e-posta yazmak; makine taslağı ve dil düzeltmesini yapacak, sen içeriği belirleyecek ve son metni onaylayacaksın. Kaynak: makineye başvurunla ilgili bilgileri sen vereceksin; tarihler, numaralar ve başvuru ayrıntıları senin belgelerinden gelecek. Önce ne söylemek istediğini kendi cümlelerinle, Türkçe ya da İngilizce, birkaç maddede yaz. Kanıt: makinenin taslağındaki tarih, numara ve isimleri kendi belgelerinle tek tek karşılaştır; makine bu ayrıntıları yanlış yazmış ya da eklemiş olabilir. Karşı-görüş: makineden, e-postanın alıcı tarafından nasıl yanlış anlaşılabileceğini sormasını iste; mümkünse İngilizcesi iyi bir arkadaşına son metni okut. Kesinlik: bu, geri dönüşü olan ama önemli bir iletişim; kritik ayrıntıların doğru olduğundan emin olduktan sonra gönder. Sonuç: bu basit görevde bile protokol, makinenin dil becerisinden yararlanırken, içerikteki hataların sorumluluğunun sende kalmasını sağlar.

Orta örnek: bir araştırmacının literatür taraması

Bir yüksek lisans öğrencisi, tez konusu için ilgili araştırmaları taramak istiyor ve bir yapay zekâ aracını kullanmayı düşünüyor. Danışmanıyla birlikte bir İşbirliği Protokolü hazırlıyor. Kavram: görev, konuyla ilgili temel çalışmaları bulmak ve ana tartışmaları haritalamak; makine arama terimleri ve olası çalışmalar önerecek, öğrenci her çalışmayı bulup okuyacak, danışman haritayı değerlendirecek. Kaynak: öğrenci, makineden gelen her kaynağı üniversite veri tabanlarında arayacak; yalnızca kendisinin bulup okuduğu çalışmalar listeye girecek. Ayrıca makineyi kullanmadan önce, bildiği birkaç temel çalışmayı ve bu alandaki ana soruları bağımsız olarak yazacak. Kanıt: her çalışmanın ana bulgusunu, makinenin özetinden değil, çalışmanın kendisinden kaydedecek. Karşı-görüş: makineden, öğrencinin haritasında eksik kalmış olabilecek karşıt görüşleri ve yaklaşımları sormasını isteyecek; ama bu önerileri de aynı biçimde doğrulayacak. Danışman, haritayı bağımsız olarak okuyacak. Kesinlik: bir tez, akademik dürüstlük ve özgünlük gerektirir; kaynakçaya giren her çalışma doğrulanmış olmalı ve tezde makinenin nasıl kullanıldığı açıkça belirtilmeli. Sonuç: bu protokolde makine, öğrencinin kör noktalarını gösteren bir öneri kaynağı olarak çalışır; ama bilginin kendisi, öğrencinin okumasından ve doğrulamasından gelir.

Gerçek hayat örneği: amatörlerin kazandığı turnuva

Girişteki 2005 serbest satranç turnuvasına dönelim ve kazanan ekibin çalışma biçimini, İşbirliği Protokolü'nün diliyle okuyalım. Kasparov'un sonradan yazdığına göre, kazanan iki amatör oyuncu satranç ustası değildi; ama birden çok bilgisayar programını birlikte kullanmayı ve programların önerilerini değerlendirmeyi çok iyi biliyorlardı. Kavram: roller açıktı; programlar olası hamleleri ve onların derinlemesine hesabını yapıyor, oyuncular hangi programın hangi durumda daha güvenilir olduğuna karar veriyordu. Kaynak: tek bir programa değil, birden çok programa danışıyorlardı. Kanıt: bir programın önerdiği hamleyi, başka bir programla derinlemesine sınıyorlardı. Karşı-görüş: programlar birbirleriyle anlaşmadığında, bu anlaşmazlık, daha derin inceleme gerektiren bir işaret olarak ele alınıyordu; en ilginç kararlar tam da bu anlarda veriliyordu. Kesinlik: oyuncular, programların hangi tür konumlarda güçlü, hangilerinde zayıf olduğuna dair bir tür pürüzlü sınır haritası geliştirmişti. Sonuç: bu ekibin üstünlüğü, ne satranç bilgisinden ne de bilgisayar gücünden, bu ikisini birleştiren süreçten geliyordu. Kasparov'un vardığı sonuç, bu dersin temel fikrini özetler: insan ile makinenin birlikte düşünmesinde belirleyici olan çoğu zaman süreçtir.

Vakaya dönüş

Modülün vakasındaki olayın ardından, avukatın çalıştığı hukuk bürosunun, yapay zekâ araçlarının kullanımı için bir İşbirliği Protokolü hazırladığını düşünelim. Bu protokol, modülün dört dersinin bütün bulgularını bir araya getirir.

Kavram: yapay zekâ araçları, araştırmaya başlarken olası konu ve karar önerileri üretmek, taslak metinlerin dilini düzeltmek ve bir argümana yöneltilebilecek itirazları sıralamak için kullanılabilir. Mahkemeye sunulacak her belgenin içeriğinden ve doğruluğundan ise belgeyi imzalayan avukat sorumludur. Kaynak: araçların önerdiği her içtihat, resmî karar arşivlerinde aranacak ve tam metni okunacak; araçlara, bir kararın gerçek olup olmadığı sorulmayacak. Avukat, bir davanın hukuki çerçevesini araca danışmadan önce kendisi taslak olarak yazacak. Kanıt: dilekçedeki her atıf, AI Çıktı Doğrulama ile tek tek kontrol edilecek; doğrulanamayan hiçbir atıf dilekçeye girmeyecek. Karşı-görüş: araçtan, dilekçenin karşı tarafça nasıl eleştirilebileceğini sıralaması istenecek; ikinci bir avukat dilekçeyi bağımsız olarak okuyacak. Kesinlik: mahkemeye sunulan belgeler, hukuk dersinin kanıt merdiveninin yüksek basamaklarındadır; bu yüzden bu belgeler için doğrulama isteğe bağlı değil, zorunludur. Protokol ayrıca, bir aracın kullanıldığı durumlarda bunun kayda geçirilmesini ister.

Bu protokol, avukatın hatasının üç ayrı katmanını ortadan kaldırır: bir makineye, bilmediği bir şeyi bildiğini varsayarak güvenmek; onun çıktısını kendisine doğrulatmak; ve doğrulama sorumluluğunu da ona devretmek. Modülün vardığı sonuç budur: yapay zekâ, bir bilgi kaynağı olarak değerli olabilir; ama onu bilgiye dönüştüren şey, onu kullanan insanın ve kurumun sürecidir.

Araç kartı: İşbirliği Protokolü

AlanAçıklama
Ne işe yararBir insan–AI çalışma sürecini beş kapıya göre önceden yapılandırır: roller, kaynaklar, zorunlu doğrulamalar, anlaşmazlık kuralları ve sorumluluk
5K kapısıBeş kapı
Adımlar1) Kavram: görevi, alt görevleri ve rolleri tanımla; kim yapar, kim denetler, kim karar verir? 2) Kaynak: makinenin neye dayanacağını belirle; onun cevabından önce kendi bağımsız yargını kaydet. 3) Kanıt: zorunlu doğrulanacak iddiaları önceden yaz ve AI Çıktı Doğrulama ile sına. 4) Karşı-görüş: makineden itirazlar iste, ikinci bir insan okuması al, anlaşmazlık kuralını önceden koy. 5) Kesinlik: kanıt eşiğini belirle, güvenini yaz, kararı gerekçesi ve sorumlusuyla kaydet.
Ne zaman kullanılırBir ekipte ya da tek başına, bir yapay zekâ aracını düzenli bir iş sürecine katmadan önce; hukuk, sağlık, eğitim ve araştırma gibi sorumluluğun önemli olduğu alanlarda; bir kurumun yapay zekâ kullanım kurallarını hazırlarken
Sık hataProtokolü iş başladıktan sonra, anlaşmazlık anında icat etmek; makinenin cevabını gördükten sonra kendi yargını oluşturmak; insanı sürece yalnızca bir onay düğmesi olarak koymak; makineden gelen itirazları sınamadan kabul etmek; sorumluluğu belirsiz bırakmak

Egzersiz

Sonra protokolü uygula. Aracın çıktısını al ve beş kapının her birinde ne yaptığını not et: hangi kavramları netleştirdin, hangi kaynakları doğruladın, hangi iddiaları sınadın, hangi itirazları aldın ve nasıl değerlendirdin, sonuca ne kadar güveniyorsun? Son olarak kendi bağımsız yargın ile aracın çıktısını karşılaştır: nerede ayrıştınız ve bu ayrışma sana ne öğretti? Proje raporunu, bu karşılaştırma üzerine bir paragrafla bitir. Bu paragraf, modülün sorusuna senin cevabın olacak: bir makineyle birlikte düşünmek, seni daha mı isabetli yaptı, yoksa yalnızca daha hızlı mı?

Mini test

  1. Kasparov 2005 serbest turnuvasının sonucundan nasıl bir ders çıkardı?
  2. Tamamlayıcılık nedir ve Agarwal ve arkadaşlarının radyolog çalışması bunun neden kendiliğinden gerçekleşmediğini nasıl gösterir?
  3. Pürüzlü sınır kavramı nedir ve Dell'Acqua ve arkadaşlarının deneyi bunu nasıl gösterdi?
  4. Algoritma kaçınması ile otomasyon yanlılığı arasındaki ilişki nedir ve ikisine karşı ortak çözüm ne olabilir?
  5. Bir okul yönetimi, öğretmenlerin öğrenci kompozisyonlarını bir yapay zekâ aracıyla notlandırmasına izin vermeyi düşünüyor. İşbirliği Protokolü ile bir öneri hazırla.
Cevapları göster
  1. Turnuvayı ne güçlü programlarla oynayan büyükustalar ne de en güçlü programlar, birkaç bilgisayarı ustaca yöneten iki amatör kazandı. Kasparov, iyi bir süreçle çalışan zayıf bir insan ile makinenin, kötü bir süreçle çalışan güçlü bir insan ile makineden daha iyi sonuç verebileceği sonucunu çıkardı.
  2. İnsanla makinenin birlikte, her birinin tek başına ulaşabileceğinden daha iyi sonuç vermesidir. Agarwal ve arkadaşlarının çalışmasında sistem tek başına pek çok radyologdan isabetliydi, ama radyologlar sistemin bilgisini kendi gözlemleriyle doğru birleştiremediği için, birlikte verdikleri kararlar ortalamada belirgin biçimde daha iyi değildi.
  3. Yapay zekânın yeteneklerinin düzgün bir sınırla ayrılmaması, benzer görünen görevlerden birinde başarılı, ötekinde başarısız olabilmesi ve bu sınırın görünmemesidir. Deneyde, yapay zekânın iyi olduğu görevlerde destek alan danışmanlar daha iyi, iyi olmadığı bir görevde ise destek almayanlardan daha kötü sonuç aldı.
  4. İkisi de makineye olan güveni, onun gerçek başarı kaydına göre değil, dikkat çekici tek tek olaylara göre ayarlamaktan doğar: biri fazla güven, öteki bir hatadan sonra güvenin tamamen çekilmesidir. Ortak çözüm, makinenin alana özgü başarı kaydını izlemek ve güveni buna göre ayarlamaktır.
  5. Kavram: aracın rolü, öğretmene bir ön değerlendirme ve geri bildirim önerileri sunmak; son notu öğretmen verir ve sorumludur. Kaynak: öğretmen, aracın notunu görmeden önce bir kompozisyon örnekleminde kendi notunu bağımsız olarak verir; araca açık bir değerlendirme ölçütü sağlanır. Kanıt: aracın notları, öğretmenin bağımsız notlarıyla karşılaştırılarak güvenilirliği ölçülür; özellikle alışılmadık ya da yaratıcı kompozisyonlarda aracın zayıflıkları incelenir, çünkü bunlar pürüzlü sınırın öte yakasında olabilir. Karşı-görüş: öğretmen ile araç arasında büyük bir fark çıkarsa, ikinci bir öğretmen okur; öğrencilere nota itiraz hakkı tanınır. Kesinlik: notlar öğrencilerin geleceğini etkilediği için, aracın tek başına not vermesine izin verilmez; kullanımı öğrencilere ve velilere açıkça bildirilir ve protokol bir dönem sonunda gözden geçirilir.

Özet

  • İnsan–AI işbirliğinde belirleyici olan çoğu zaman süreçtir; Kasparov'un gözlemlediği 2005 serbest turnuvasını, birkaç programı ustaca yöneten amatörler kazandı.
  • Tamamlayıcılık kendiliğinden gerçekleşmez; Agarwal ve arkadaşlarının radyolog çalışması, insanların makinenin bilgisini kendi bilgileriyle doğru birleştiremediğini gösterdi.
  • Pürüzlü sınır (Dell'Acqua ve arkadaşları), yapay zekânın benzer görünen görevlerde çok farklı başarı gösterebildiğini ve bu sınırın görünmediğini anlatır.
  • Otomasyon yanlılığı ve algoritma kaçınması (Dietvorst, Simmons ve Massey), güvenin başarı kaydına değil tek tek olaylara göre ayarlanmasından doğar; çözüm, alana özgü bir güven haritasıdır.
  • İnsanlar arası işbirliğinden gelen dersler, karar hijyeni (bağımsız yargıyı önce kaydetmek), ekip kaynak yönetimi ve kontrol listeleri, insan–AI işbirliğine uygulanabilir; anlaşmazlık kuralları önceden belirlenmeli ve sorumluluk açık olmalıdır.
  • İşbirliği Protokolü, kursun beş kapısını bir insan–AI sürecine önceden yerleştirir.

Flashcard'lar

Ön yüzArka yüz
Kasparov'un serbest turnuvadan çıkardığı ders?İyi bir süreç, insan ile makinenin gücünden daha belirleyici olabilir
Tamamlayıcılık?İnsanla makinenin birlikte, her birinin tek başına olduğundan daha iyi sonuç vermesi
Pürüzlü sınır kimin imgesi?Dell'Acqua ve arkadaşları, 2023
Algoritma kaçınması?Bir algoritmanın hatasını gördükten sonra, daha isabetli olsa bile ona güvenmeyi bırakmak (Dietvorst ve arkadaşları, 2015)
Karar hijyeninin temel ilkesi?Tartışmadan önce herkesin yargısını bağımsız olarak kaydetmesi
Ekip kaynak yönetimi hangi alandan doğdu?Havacılık
Anlamlı insan denetimi neyi gerektirir?Çıktıyı değerlendirecek bilgi, zaman ve yetki
İşbirliği Protokolü ne zaman yazılır?İş başlamadan önce

Sonraki derse köprü

Bu modül, bilgi sorusunun en yeni biçimiyle, makinelerin bilip bilmediğiyle uğraştı. Ama "bilgi nedir?" sorusu, bilgisayarlardan çok önce, yirmi dört yüzyıl önce Atina'da sorulmuştu. Platon, bilgi ile sanıyı birbirinden ayırdı: episteme, gerekçesiyle birlikte kavranmış, kalıcı bilgiydi; doxa ise doğru olsa bile gerekçesi bilinmeyen, kaçıp gidebilen bir sanıydı. Menon problemi dersinde, Platon'un doğru sanıları Daidalos'un bağlanmamış heykellerine benzettiğini görmüştük. Bu modülün sonunda insanın aklına ister istemez şu soru gelir: makinenin isabetli cümleleri, gerekçesine bağlanmamış doğru sanılar mıdır? Ders T1.1, Tarih Hattı'nın Batı gelenekleri bölümünü açarak Platon ile Aristoteles'in episteme, doxa ve deneyim ayrımlarını inceleyecek ve sana Episteme/Doxa Ayırıcı'yı verecek.

Günlük sorusu: Makineyle birlikte yürüttüğün son iş, onsuz yapacağından daha mı iyi oldu, yoksa yalnızca daha mı hızlı? Bunu nasıl ölçtün?

Tarihte bu tartışma

İnsanların birlikte daha iyi düşünebilmesi için süreç tasarlama çabası, bilimsel toplulukların ve kurumların tarihi kadar eskidir. 1977'deki Tenerife kazasının ardından, 1979'da NASA'nın düzenlediği bir havacılık çalıştayı, kokpit ekiplerinin iletişimini ve karar süreçlerini yeniden düşünmeye başladı ve ekip kaynak yönetimi eğitiminin gelişmesine yol açtı. 1997'de Kasparov bir satranç programına yenildi; 1998'de insan ile programın birlikte oynadığı satranç biçimini önerdi; 2005'te bir serbest turnuva, sürecin önemini çarpıcı biçimde gösterdi. 2009'da Gawande kontrol listelerinin tıptaki gücünü anlattı. 2015'te Dietvorst ve arkadaşları algoritma kaçınmasını tanımladı. 2021'de Kahneman, Sibony ve Sunstein, karar hijyeni uygulamalarını Gürültü'de sistemleştirdi. 2023'te Dell'Acqua ve arkadaşları pürüzlü sınırı, Agarwal ve arkadaşları radyologların yapay zekâ bilgisini birleştirmedeki güçlüklerini gösterdi; aynı yıl, uydurma içtihatlı dilekçe olayı, hukukta yapay zekâ kullanım kurallarının hızla gelişmesine yol açtı. Bugün insan–AI işbirliği, bilişsel bilim, örgüt araştırmaları, hukuk ve epistemolojinin ortak bir araştırma alanı hâline gelmektedir.

Anlamadığın bir yer mi var?

Mentor yalnız bu dersin metnine dayanarak cevap verir. Metinde geçmeyen bir şey sorarsan uydurmaz, geçmediğini söyler.