Uzman seçme problemi: Goldman'ın beş ölçütü

Giriş

Bir dişin ağrıyor. İlk gittiğin diş hekimi, röntgene bakıp kanal tedavisi gerektiğini söylüyor. İçin rahat etmiyor ve ikinci bir hekime gidiyorsun. O da röntgene bakıyor ve bir dolgunun yeterli olacağını söylüyor. İki hekimin de diploması duvarda asılı, ikisi de kendinden emin konuşuyor ve ikisi de sana kendi kararının gerekçesini açıklıyor. Ama sen röntgendeki gölgenin ne anlama geldiğini bilmiyorsun; diş kökünün derinliğini, sinirin durumunu değerlendirecek bilgiye sahip değilsin. İkisinden birine güvenmek zorundasın. Hangisine?

Bu durumun bir çelişkisi vardır: röntgeni okuyabilseydin iki hekime de ihtiyacın olmazdı; okuyamadığın için ikisinden birini seçmek zorundasın, ama seçmek için tam da sahip olmadığın bilgiye ihtiyacın var gibi görünür. Güvenilircilik dersinden tanıdığımız Goldman, 2001 tarihli "Uzmanlar: Hangisine Güvenmeli?" başlıklı makalesinde bu çelişkiyi acemi ve iki uzman problemi olarak adlandırdı ve acemiye yardım edebilecek beş kanıt kaynağı önerdi. Bu derste bu beş ölçütü, sınırlarını ve bir salgında birbiriyle çelişen uzmanlara nasıl uygulanabileceklerini inceleyeceksin.

Bu dersin kazanımları:

• Goldman'ın acemi ve iki uzman problemini ve önerdiği beş kanıt kaynağını açıklarsın. (anla)
• Çelişen iki uzmanı beş ölçüt üzerinden karşılaştırıp hangisine neden daha çok güvenilebileceğini çözümlersin. (analiz et)
• Bir uzmanın alanının dışına taştığı ya da çıkar çatışması taşıdığı durumlarda güvenini buna göre ayarlarsın. (değerlendir)

Ana anlatım

Uzman kimdir?

Goldman'a göre bir alanda uzman olmak, o alandaki sorular hakkında sıradan insanlardan çok daha fazla doğru inanca ve çok daha az yanlış inanca sahip olmaktır. Ama bu yetmez: uzman, yalnızca bildiklerini sıralayan biri değil, alanında yeni sorulara da iyi cevaplar üretebilen biridir. Uzmanlık, bir bilgi deposu değil, bir yetkinliktir. Bu tanım, erdem epistemolojisi dersinde gördüğümüz yetkinlik fikriyle örtüşür.

Goldman, acemi ile uzman arasındaki ilişkiyi anlamak için iki tür önermeyi ayırdı. Dışa açık önermeler, acemi tarafından da doğrulanabilen önermelerdir: "Yarın saat üçte bir Güneş tutulması olacak" gibi, zamanı gelince herkesin görebileceği bir iddia. İçe kapalı önermeler ise yalnızca uzmanların değerlendirebileceği önermelerdir: "Bu röntgendeki gölge kök ucunda bir iltihabı gösteriyor" gibi. Uzman seçme problemi, esas olarak içe kapalı önermeler söz konusu olduğunda ortaya çıkar.

Birinci ölçüt: argümanlar

İlk akla gelen yol, uzmanların öne sürdüğü argümanları dinlemektir. Ama acemi, argümanların içeriğini doğrudan değerlendiremez; bu yüzden Goldman, doğrudan değerlendirme ile dolaylı değerlendirmeyi ayırdı. Acemi, bir uzmanın öncüllerinin doğru olup olmadığını bilemeyebilir; ama iki uzmanın tartışmasını izleyerek hangisinin tartışmada daha üstün olduğunu görebilir. Karşı tarafın itirazlarına anında ve yerinde cevap verebilen, kendi görüşüne yöneltilen eleştirileri çürütebilen, sorulara kaçamak değil doğrudan cevap veren uzman, dolaylı olarak daha güvenilir görünür.

Bu ölçütün tehlikesi de açıktır. Tartışmada üstünlük, bilgiden çok konuşma becerisinden gelebilir. Akıcı, kendinden emin ve hazırcevap biri, daha dikkatli ve temkinli bir meslektaşından daha ikna edici görünebilir; ama daha haklı olmayabilir. Temkinli konuşmak, çoğu zaman belirsizliği dürüstçe kabul etmenin bir işaretidir. Bu yüzden birinci ölçüt, tek başına güvenilir değildir ve öteki ölçütlerle birlikte kullanılmalıdır.

İkinci ölçüt: öteki uzmanların görüşü

İkinci ölçüt, sayıya bakmaktır: bu konuda öteki uzmanlar hangi tarafta? Bir hekim bir tedaviyi öneriyor ve alanın uzmanlarının büyük çoğunluğu onunla aynı fikirdeyse, bu, onun lehine bir kanıttır. Ama Goldman burada önemli bir uyarıda bulundu: sayı, ancak uzmanlar birbirinden bağımsız olarak aynı sonuca vardıysa bir kanıt değeri taşır. Yüz kişi aynı şeyi söylüyor ama hepsi tek bir ustanın sözünü tekrar ediyorsa, elimizde yüz değil bir görüş vardır.

Goldman bunu bir guru örneğiyle anlattı: bir gurunun sözüne koşulsuz bağlı bir grup takipçi, gurunun söylediğini ne kadar kalabalık tekrar ederse etsin, gurunun görüşüne yeni bir kanıt eklemez. Önceki derste gördüğümüz bilgi çağlayanı ve tanıklık dersindeki beş site örneği, bu ölçütün aynı sınırını gösterir. Uzman uzlaşmasının gücü, uzmanların kendi kanıtlarını değerlendirerek, birbirlerinden bağımsız biçimde aynı yere varmasından gelir.

Üçüncü ölçüt: belgeler ve kurumsal değerlendirme

Üçüncü ölçüt, üst uzmanların değerlendirmesidir: diplomalar, uzmanlık belgeleri, meslek kuruluşlarının onayları, akademik unvanlar, alanında saygın kurumlardaki görevler. Bu belgeler, uzmanı değerlendirme işini, acemi yerine bunu yapabilecek başka uzmanlara devretmenin bir yoludur. Bir hekimin uzmanlık belgesi, onu bu alanda yetkin bulan bir kurulun yargısını taşır.

Ama bu ölçütün de iki sınırı vardır. Birincisi, açılıştaki gibi iki uzmanın da belgeleri eşit olabilir; o zaman ölçüt ayırt edici değildir. İkincisi, belgeler belirli bir alanda geçerlidir. Bir fizik profesörünün unvanı, onun beslenme ya da ekonomi hakkındaki görüşlerine bir yetki kazandırmaz. Felsefeci Nathan Ballantyne, 2019'da yayımlanan bir makalesinde, uzmanların kendi alanlarının dışındaki sorular hakkında uzman otoritesiyle konuşmasına epistemik izinsiz giriş adını verdi. Belgeler, sahibinin uzmanlığının sınırlarını da gösterir.

Dördüncü ölçüt: çıkarlar ve yanlılıklar

Dördüncü ölçüt, uzmanın söylediğinde bir çıkarı olup olmadığına bakmaktır. Bir diş hekimi, önerdiği tedaviden daha fazla kazanç elde edecekse; bir araştırmacının çalışması, sonucu olumlu çıkması halinde kâr edecek bir şirket tarafından finanse edilmişse; bir yorumcu, belirli bir görüşü savunduğu için ün ya da destek kazanıyorsa, bu durumlar onların yargılarını etkileyebilir. Çıkar çatışması, bir uzmanın yanıldığını göstermez; ama onun yargısına duyulan güveni azaltmak için bir sebeptir.

Yanlılık yalnızca maddi çıkarla sınırlı değildir. Bir uzman, yıllarca savunduğu bir kurama duygusal olarak bağlı olabilir; bir meslek topluluğunun ortak görüşünden ayrılmanın bedelinden çekinebilir. Kuhn dersinde gördüğümüz Priestley, çıkarı olmadığı hâlde, bir çerçeveye bağlılığı yüzünden yeni bir açıklamayı kabul etmedi. Goldman'ın dördüncü ölçütü, bu tür bağlılıkları da hesaba katmayı ister: bu uzmanın, bu konuda yanılmayı kabul etmesini zorlaştıracak bir sebebi var mı?

Beşinci ölçüt: geçmiş başarı kaydı

Goldman'a göre en güçlü ölçüt, geçmiş başarı kaydıdır. Acemi, içe kapalı önermeleri değerlendiremez; ama bir uzmanın geçmişte yaptığı dışa açık öngörülerin doğru çıkıp çıkmadığını görebilir. Bir gökbilimcinin tutulma öngörüsü gerçekleşir ya da gerçekleşmez; bir hekimin önerdiği tedaviden sonra hastalar iyileşir ya da iyileşmez; bir tamir ustasının onardığı şey çalışır ya da çalışmaz. Bu başarılar, uzmanın içe kapalı alandaki yetkinliğinin dolaylı ama güçlü bir göstergesidir.

Bu ölçütün önemini, Psikolog Philip Tetlock'un 2005'te yayımlanan Uzman Siyasi Yargı kitabı çarpıcı biçimde gösterdi. Tetlock, siyaset ve ekonomi alanında yüzlerce uzmanın uzun yıllara yayılan binlerce öngörüsünü topladı ve sonuçlarını karşılaştırdı. Uzun vadeli siyasi öngörülerde uzmanların başarısı çoğu zaman basit tahmin kurallarından belirgin biçimde iyi değildi. Tetlock, tek bir büyük kurama bağlı kalanların, birçok farklı açıdan düşünüp görüşlerini sık sık güncelleyenlerden daha kötü öngörüler yaptığını buldu. Bu bulgu, bir uzmanın ne kadar kendinden emin konuştuğunun değil, geçmiş kaydının önemli olduğunu gösterir.

Başarı kaydının tuzakları

Başarı kaydı en güçlü ölçüt olsa da, onu okumak kolay değildir. Birinci tuzak, hatırlanan kayıttır: bir uzmanın tutan tahminleri manşet olur ve hatırlanır, tutmayanları unutulur. Her kriz sonrasında "krizi önceden bilen" birkaç kişi öne çıkar; ama o kişilerin daha önceki yıllarda kaç kez kriz beklediği sorulmaz. Yeterince çok kişi yeterince çok tahmin yaptığında, bazıları tesadüfen etkileyici bir kayıt biriktirir. İkinci tuzak, belirsiz tahminlerdir: "önümüzdeki dönem zorlu geçebilir" gibi bir cümle hiçbir zaman tam olarak yanlış çıkmaz; Popper dersindeki yanlışlanamaz iddialar gibi, kayıtta başarı gibi görünür ama hiçbir şey söylemez.

Bu yüzden anlamlı bir başarı kaydı, önceden kaydedilmiş, belirli ve sayılabilir öngörülerden oluşmalıdır. Kesinlik termometresi dersinde gördüğümüz Brier puanı, tam bu işi yapar: güven derecelerini ve sonuçları birlikte kaydederek kimin iyi kalibre olduğunu ölçer. Tetlock'un sonraki çalışmaları da, öngörüleri bu biçimde kaydeden ve puanlayan geniş tahmin yarışmalarına dayandı.

Kurumsal üst uzmanlık: sistematik incelemeler

Acemi için beş ölçütü tek tek uygulamak zordur. Bu yüzden bazı alanlarda, bu değerlendirme işini üstlenen kurumlar gelişti. Tıpta sistematik incelemeler, belirli bir soruyla ilgili bütün çalışmaları önceden belirlenmiş kurallarla toplar, kalitelerini değerlendirir ve sonuçlarını birleştirir. 1993'te kurulan uluslararası Cochrane ağı, bu tür incelemeleri üreten en bilinen kuruluşlardan biridir. Böyle bir inceleme, Goldman'ın ölçütlerinin çoğunu kurumsal ölçekte uygular: öteki uzmanların bağımsız sonuçlarını toplar, çalışmaların kalitesini değerlendirir, çıkar çatışmalarını not eder. Acemi için bir tek uzmanın sözünden çok, böyle bir incelemenin sonucu çoğu zaman daha güvenilir bir başlangıç noktasıdır.

Ölçütleri birlikte kullanmak

Beş ölçüt de kendi başına eksik kalır; her birinin kendi zaafı vardır. Argümanlar konuşma becerisine, sayılar bağımlı takipçilere, belgeler alan sınırlarına, çıkar analizi eksik bilgiye, başarı kaydı ise kaydın ulaşılabilir olmasına bağlıdır. Goldman'ın önerisi, ölçütleri bir ağ gibi birlikte kullanmaktır: bir uzman birkaç ölçütte güçlü, ötekinde zayıfsa, genel bir yargıya varmak için hepsini tartmak gerekir.

İngiliz sosyologlar Harry Collins ve Robert Evans, 2007'de yayımlanan Uzmanlığı Yeniden Düşünmek kitabında, uzmanlığın türlerine dair bir ayrımla bu tabloya bir boyut ekledi. Bir alana doğrudan katkı yapabilen katkı uzmanlığı ile o alanın uzmanlarıyla anlamlı biçimde konuşabilen, ama katkı yapamayan etkileşim uzmanlığı farklıdır. İyi bir bilim gazetecisi ya da bir hastalığı yıllarca yaşamış bir hasta, etkileşim uzmanlığına sahip olabilir. Acemi, iki uzman arasında seçim yaparken, böyle bir aracı etkileşim uzmanından yardım alabilir: onun Goldman'ın ölçütlerini uygulama kapasitesi, sıradan bir acemininkinden fazladır.

Uzman Değerlendirme Kartı

Bu dersin aracı, çelişen uzmanları Goldman'ın beş ölçütüne ve alan sınırı sorusuna göre yan yana değerlendirir. Her uzman için bir sütun açarsın ve altı satırı doldurursun. Argüman: itirazlara ne kadar doğrudan ve yerinde cevap veriyor; belirsizliği kabul ediyor mu? Öteki uzmanlar: alanın uzmanları bu konuda nerede duruyor ve bu uzlaşma bağımsız mı? Belgeler: bu kişinin eğitimi ve deneyimi tam olarak bu soruyla ilgili mi? Çıkarlar: söylediğinden kazanacağı ya da kaybedeceği bir şey var mı? Başarı kaydı: geçmişte sınanabilir öngörüleri doğru çıktı mı? Alan sınırı: konuştuğu soru uzmanlık alanının içinde mi?

Kartın sonunda bir özet satırı yazarsın: hangi uzmana daha çok güvenmek için hangi ölçütlerde sebep var? Araç, Kaynak kapısında çalışır ve bir önceki dersin Güven Bütçesi ile birlikte kullanılır: Güven Bütçesi bir iddiayı doğrulamaya ne kadar emek harcayacağını, Uzman Değerlendirme Kartı ise o emeği hangi kaynağa yönelteceğini belirler.

Örnekler

Basit örnek: iki diş hekimi

Açılıştaki iki diş hekimine Uzman Değerlendirme Kartı'nı uygulayalım. Argüman: birinci hekim kanal tedavisini, röntgendeki gölgeyi ve ağrının türünü göstererek açıklıyor; ikinci hekim, gölgenin eski bir dolgunun izi olabileceğini ve ağrının dişin yüzeyinden kaynaklandığını söylüyor ve iki ihtimali birbirinden ayırt etmek için bir test öneriyor. İkinci hekimin belirsizliği kabul edip bir ayırt edici test önermesi, dolaylı bir güvenilirlik işaretidir. Öteki uzmanlar: üçüncü bir görüş almak mümkün ve düşük maliyetli. Belgeler: ikisi de genel diş hekimi; kanal tedavisinde uzmanlaşmış bir hekim, bu soruda daha yetkin olabilir. Çıkarlar: kanal tedavisi daha pahalı bir işlemdir; birinci hekimin bu önerisinde bir kazanç payı vardır, ama bu onun yanıldığını göstermez. Başarı kaydı: tanıdıkların bu hekimlerle deneyimleri, belirsiz ama işe yarar bir bilgi. Özet: ölçütler kesin bir üstünlük göstermiyor; en akılcı adım, bu alanda uzmanlaşmış üçüncü bir hekimin görüşünü almak.

Orta örnek: iki ekonomistin zıt tahminleri

Televizyonda iki ekonomist tartışıyor. Biri önümüzdeki yıl enflasyonun belirgin biçimde düşeceğini, öteki yükseleceğini söylüyor. Uzman Değerlendirme Kartı'nı uygulayalım. Argüman: birincisi tartışmada daha akıcı ve kendinden emin; ikincisi daha temkinli ve farklı senaryolardan söz ediyor. Tetlock'un bulguları ışığında, temkinli olanın yaklaşımı bir zayıflık değil bir güç olabilir. Öteki uzmanlar: merkez bankası, uluslararası kuruluşlar ve bağımsız araştırma kurumlarının tahminleri hangi aralıkta? Bu kurumlar farklı yöntemler kullanıyorsa, uzlaşmaları bir kanıttır. Belgeler: ikisi de ekonomist, ama biri makroekonomik tahminde, öteki finans piyasalarında uzmanlaşmış olabilir. Çıkarlar: ekonomistlerden biri bir yatırım kuruluşunun sözcüsü mü, belirli bir siyasi görüşle mi özdeşleşmiş? Başarı kaydı: iki ekonomistin geçmiş yıllardaki enflasyon tahminlerine ulaşılabilir mi? Bu, belki de en ayırt edici bilgidir. Özet: bu örnekte en güçlü rehber, tek tek ekonomistlerin sözünden çok, bağımsız kurumların tahmin aralığı ve konuşanların geçmiş kaydıdır.

Gerçek hayat örneği: alanının dışında konuşan ünlü bilim insanı

Kendi alanında büyük ödüller almış bir fizikçi, bir röportajda belirli bir beslenme düzeninin kanseri önlediğini kesin bir dille söylüyor. Aynı günlerde bir grup onkolog ve beslenme bilimcisi, bu beslenme düzeninin kanseri önlediğine dair yeterli kanıt olmadığını açıklıyor. Uzman Değerlendirme Kartı'nı uygulayalım. Belgeler ve alan sınırı: fizikçinin unvanları fizikte geçerlidir; beslenme ve kanser, onun uzmanlık alanının dışındadır. Bu, Ballantyne'ın epistemik izinsiz giriş dediği durumun tipik bir örneğidir. Öteki uzmanlar: onkolog ve beslenme bilimcilerinin görüşü, bu alandaki kanıtların sistematik incelemelerine dayanıyor mu? Argüman: fizikçi hangi çalışmalara dayanıyor; bu çalışmalar bir önceki modülün Çalışma Kalite Kontrol Listesi'nden geçer mi? Çıkarlar: fizikçinin bu beslenme düzeniyle ilgili bir kitabı ya da ticari bir bağı var mı? Özet: fizikçinin ünü ve zekâsı, bu soruda onun görüşüne ek bir ağırlık vermez. Bu, onun yanıldığını kanıtlamaz; ama güvenin, bu alanda gerçekten uzman olanların bağımsız değerlendirmelerine yönelmesi gerektiğini gösterir.

Vakaya dönüş

Bir salgında birbiriyle çelişen uzmanlara Uzman Değerlendirme Kartı'nı uygulayalım. Salgının ilk aylarında, televizyonlarda ve sosyal medyada pek çok "uzman" görüş bildirir: halk sağlığı uzmanları, farklı branşlardan hekimler, akademisyenler, bazen de sağlıkla doğrudan ilgisi olmayan alanlardan tanınmış kişiler. Bu görüşler birbiriyle çelişebilir: biri salgının kısa sürede biteceğini, öteki uzun süreceğini; biri bir önlemin gereksiz, öteki zorunlu olduğunu söyleyebilir.

Kartın satırları burada belirgin bir yol haritası çizer. Alan sınırı: bir salgının seyri hakkında en ilgili uzmanlık, bulaşıcı hastalıklar, epidemiyoloji ve halk sağlığı alanındadır; başka alanlardaki unvanlar bu soruda otomatik bir yetki vermez. Öteki uzmanlar: ulusal ve uluslararası sağlık kurullarının ortak değerlendirmeleri, tek tek kişilerin görüşlerinden daha güçlü bir kanıttır, özellikle farklı ülkelerin kurulları bağımsız olarak benzer sonuçlara varıyorsa. Argüman: belirsizliği kabul eden, kanıt değiştikçe görüşünü güncelleyeceğini açıkça söyleyen uzmanlar, kesin konuşanlardan daha güvenilir olabilir. Başarı kaydı: salgının ilk haftalarındaki öngörülerin hangileri tuttu? Çıkarlar: bir ürün ya da tedavi satan, ya da belirli bir siyasi görüşle özdeşleşmiş uzmanlar var mı? Bir salgında kesin cevap beklemek anlaşılır bir istektir; ama bu kart, kesinliği değil, güvenilirlik işaretlerini aramayı öğretir.

Araç kartı: Uzman Değerlendirme Kartı

Egzersiz

Bu egzersizde çoğu kişi, başlangıçta güvendiği uzmanı zaten onayladığı görüş yüzünden seçtiğini fark eder. Kart, bu döngüyü kırmak için tasarlandı: güveni görüşün kendisine değil, görüşü söyleyenin güvenilirlik işaretlerine dayandırmak.

Mini test

1. Goldman'ın acemi ve iki uzman problemi nedir ve dışa açık ile içe kapalı önermeler ayrımı neden önemlidir?
2. Argüman ölçütünde doğrudan ve dolaylı değerlendirme arasındaki fark nedir ve bu ölçütün tehlikesi nedir?
3. Öteki uzmanların görüşü ölçütü hangi koşulda kanıt değeri taşır?
4. Tetlock'un bulguları, başarı kaydı ölçütünün önemini nasıl gösterir?
5. Bir sosyal medya hesabı, "Beş yüz hekim bu tedavinin işe yaradığını imzalı bir mektupla açıkladı" diye paylaşım yapıyor. Uzman Değerlendirme Kartı ile değerlendir.

Özet

• Goldman'ın acemi ve iki uzman problemi, kendi başına değerlendirme yapamayan birinin çelişen uzmanlar arasında nasıl akılcı bir seçim yapacağını sorar.
• Uzman, bir alanda daha çok doğru, daha az yanlış inanca ve yeni sorulara cevap üretme yetkinliğine sahip kişidir; acemi içe kapalı önermeleri değil, dışa açık olanları değerlendirebilir.
• Beş ölçüt: argümanlar (dolaylı olarak tartışmadaki üstünlük), öteki uzmanların görüşü (bağımsızsa), belgeler ve kurumsal değerlendirme, çıkarlar ve yanlılıklar, geçmiş başarı kaydı.
• Belgeler alan sınırlıdır; uzmanın alanının dışında otoriteyle konuşması epistemik izinsiz giriştir.
• Tetlock'un bulguları, kendinden emin konuşmanın değil, geçmiş kaydın önemli olduğunu gösterir; Collins ve Evans'ın katkı ve etkileşim uzmanlığı ayrımı aracı uzmanların rolünü aydınlatır.
• Uzman Değerlendirme Kartı, çelişen uzmanları altı satırda yan yana değerlendirerek güvenin yönünü belirler.

Flashcard'lar

Sonraki derse köprü

Goldman'ın ölçütleri, bir acemi ile iki uzman arasındaki ilişkiye bakıyordu. Ama iki uzman birbiriyle çeliştiğinde, uzmanların kendileri ne yapmalı? Aynı kanıtlara, aynı eğitime ve aynı yetkinliğe sahip iki meslektaş zıt sonuçlara vardığında, biri ötekinin görüşünü öğrendikten sonra kendi görüşünü korumalı mı, yoksa ondan uzaklaşmalı mı? Ders 6.3, felsefecilerin akran anlaşmazlığı adını verdiği bu durumu, uzlaşmayı savunanlarla kendi görüşünde direnmeyi savunanlar arasındaki tartışmayı inceleyecek ve araç kutuna Anlaşmazlık Protokolü'nü ekleyecek.

Günlük sorusu: En çok güvendiğin uzman kim? Ona duyduğun güven, onun geçmiş kaydına mı, yoksa söylediklerinin sana doğru gelmesine mi dayanıyor?

Tarihte bu tartışma

Uzmanı sahte uzmandan ayırma sorusu, Platon'un Kharmides diyaloğuna kadar gider. Sokrates orada, tıp bilmeyen birinin gerçek bir hekimi hekim taslağından nasıl ayırt edebileceğini sorar ve bunun, tıbbın kendisini bilmeden zor olduğunu gösterir. Goldman, 2001 tarihli makalesinde bu antik soruya açıkça gönderme yaptı. Yirminci yüzyılın ortasında sosyologlar, profesyonel meslek kuruluşlarının uzmanlığı nasıl belgelediğini ve koruduğunu incelemeye başladı. 1985'te Hardwig'in epistemik bağımlılık makalesi, acemi ile uzman arasındaki ilişkiyi epistemolojinin merkezine taşıdı ve Goldman'ın 2001 makalesi bu ilişkiye somut ölçütler kazandırdı. 2005'te Tetlock'un kitabı, uzman öngörülerinin başarısını ilk kez büyük ölçekte ölçtü. 2007'de Collins ve Evans uzmanlık türlerini ayırdı, 2019'da Ballantyne epistemik izinsiz giriş kavramını ortaya koydu. Bugün bu tartışma, uzmanlığa duyulan güvenin azaldığı ve herkesin kendi uzmanını seçebildiği bir medya ortamında yeni bir önem kazanmıştır.