4.8 · Seviye 4 · Düşünce ve yargı
Ne kadar emin olmalıyım
Güven kalibrasyonu (calibration); yüzde doksanlık aralık testi ve aşırı güven
Farkındalık Akademisi — M11, Kesinlik ve Kalibrasyon · 2.036 kelime · 4 gündelik durum · ≈ 9 dk okuma · 14 dk dinleme
Gündelik durumlardaki kişiler kurgusaldır; araştırmalar ve kaynaklar gerçektir. Bu dersler tıbbi ya da psikolojik değerlendirmenin yerini tutmaz.
Açılış
Adıyaman'da tadilat işleri yapan Sinan, her yeni müşteriye işin ne kadar süreceğini söylerken bir aralık veriyor: "Üç ile dört hafta arası, en geç dört haftada teslim ederim." Söylerken içinden gelen his kesin; yıllardır bu işi yapıyor.
Muhasebesini tutan eşi Nermin, bir yıl boyunca Sinan'ın verdiği aralıkları ve işlerin gerçekte ne kadar sürdüğünü bir deftere yazıyor. Yıl sonunda on iki işe bakıyorlar. Sinan'ın aralıklarının içine düşen iş sayısı dört. Kalan sekiz işin yedisi aralığın üst sınırını aşmış, biri erken bitmiş. Sinan şaşırıyor; her seferinde "bu sefer farklıydı" diye düşünmüştü: malzeme geç geldi, müşteri fikrini değiştirdi, yağmur yağdı.
Nermin ona bir soru soruyor: "Söylediğin aralıktan ne kadar emindin?" Sinan "Çok, yüzde doksan" diyor. Yüzde doksan emin olduğu aralıklar, işlerin üçte birinde tutmuştu. Bu ders, söylenen eminlik ile tutma oranını yan yana koymayı ve aradaki farkın, yani aşırı güvenin, neden bu kadar yaygın olduğunu anlatıyor.
Tek fikir
Bir şeyden yüzde doksan emin olduğumuzu söylediğimizde, böyle söylediğimiz tahminlerin yaklaşık onda dokuzu tutmalı. Çoğu zaman tutmuyor. Aradaki fark ancak tahminleri ve sonuçları yan yana yazınca görünür.
Nasıl işler
Bu seviyenin önceki modüllerinde, eminlik hissinin akıcılığı izleyebildiğini ve sezginin ancak düzenli ortamlarda güvenilir olduğunu gördük. Bu modül eminliği doğrudan ölçmeye geçiyor.
Kalibrasyon, bilgili olmaktan ayrı bir şey. Bir konuda çok az bilen biri, bunu bilip geniş aralıklar verdiğinde iyi kalibre olabilir. Çok şey bilen biri, bildiğinden fazlasını bildiğini sandığında kötü kalibre olabilir. Kalibrasyonun ölçtüğü şey, bilgimizin miktarı değil, bilgimizin sınırlarını ne kadar doğru hissettiğimiz.
Temel Psikoloji Akademisi, araştırmalarda kullanılan istatistiksel güven aralığını standart hata dersinde anlatıyor. Bu derste söz konusu olan başka bir aralık: kişinin kendi tahmini için, kafasından verdiği öznel aralık. Sinan'ın "üç ile dört hafta" demesi böyle bir aralık.
Aşırı güven tek bir şey değil. Araştırmacılar onu üç ayrı biçimde tanımlıyor: kişinin kendi performansını olduğundan yüksek tahmin etmesi, kendini başkalarına göre olduğundan iyi yerleştirmesi ve inançlarında gereğinden fazla kesin olması.
Sinan'ın sorunu aşırı kesinlik. İşi ne kadar iyi yaptığını abartmıyordu; işin ne kadar süreceğine dair belirsizliği küçümsüyordu. Her işte araya giren beklenmedik şeyleri tek tek "istisna" olarak görüyordu; oysa istisnalar, işin olağan bir parçasıydı.
Farkındalık açısından kalibrasyonun önemli bir özelliği var: içeriden hissedilemiyor. Bir tahmine yüzde doksan güvenmek, o an yüzde doksan güvenmek gibi hissettiriyor. Bu güvenin isabetli olup olmadığı ancak çok sayıda tahminin sonucu bir araya getirildiğinde görünüyor. Bu yüzden kalibrasyon, bir kayıt olmadan fark edilemeyecek bir şey.
Ne biliyoruz
Aşırı güvenin farklı tanımlarının bir arada nasıl anlaşılabileceği, kuramsal bir çalışmada ele alındı.
Deneysel bulgular, ilk iki biçimin tersine dönebildiğini, yani bazen düşük güven gibi göründüğünü gösteriyor; ve bu tersine dönüşler farklı türde görevlerde ortaya çıkıyor. Zor görevlerde insanlar kendi performanslarını abartıyor ama yanlışlıkla başkalarından daha kötü olduklarını düşünüyor; kolay görevlerde ise kendi performanslarını küçümsüyor ama yanlışlıkla başkalarından daha iyi olduklarını düşünüyor. Aşırı kesinlik ise öbür iki biçimden daha kalıcı görünüyor.
Öznel aralıkların ne kadar dar olduğu, insanlardan aralık tahmini istenen deneylerle ölçüldü.
Katılımcılar belirgin bir aşırı güven gösterdi: doğru cevap, aralıklarının içine söyledikleri yüzdeden çok daha az düştü. İki olası cevap arasında seçim yapılan sorularda aşırı güven çok daha azdı. Ana neden, öznel aralıkların kişinin bilgisinin doğruluğuna göre sistematik olarak çok dar olmasıydı; bazen iyi kalibre olmak için gereken genişliğin yalnızca yüzde kırkı kadar. Aşırı güvenin derecesi, aralıkların nasıl istendiğine göre de büyük ölçüde değişiyordu.
Tahmin isabetinin geliştirilebilip geliştirilemeyeceği, büyük ölçekli tahmin yarışmalarında sınandı.
Kazanan strateji, her yıl en iyi tahmincileri seçip seçkin ekiplere yerleştirmekti. Bu en iyi tahminciler, ortalamaya dönme beklentisine rağmen iki yıl üst üste, yüzlerce soru ve çok çeşitli konular boyunca yüksek isabetlerini korudu. Yazarlar bu başarının dört birbirini güçlendiren açıklamasını destekleyen bulgular sunuyor: bilişsel yetenekler ve düşünme biçimleri, göreve özgü beceriler, güdülenme ve bağlılık, ve zenginleştirilmiş ortamlar. Yazarlara göre bu kişiler kısmen keşfediliyor, kısmen yetiştiriliyor.
Gündelik hayatta
Gözlem görevi
Bir hafta boyunca, kendi hayatından on şey için yüzde doksanlık aralıklar verecek ve kaçının tuttuğunu ölçeceksin.
Kayıt: Defterde her tahmin bir satır alır: ne tahmin ettiğin, alt sınır, üst sınır, gerçek sonuç, aralığın içinde mi dışında mı. Hafta sonunda tutan aralıkları say. Dokuz ya da on ise iyi kalibre olmuş olabilirsin. Altı, beş ya da daha az ise aralıkların çok dardı. Dışında kalanlara bak: sonuç aralığın hep aynı tarafına mı düştü? Bir sonraki haftanın on aralığını, bu sonuca göre ayarlayarak ver.
Görevin amacı her tahmini kusursuz yapmak değil. Amaç, "yüzde doksan emin" hissinin senin için gerçekte neye karşılık geldiğini, bir sayıyla görmek.
Yaygın yanılgılar
Yaygın yanlış"İnsanlar her zaman kendilerini abartır."
Moore ve Healy'nin çalışması, kendi performansını abartma ve kendini başkalarından iyi görme eğilimlerinin görevin zorluğuna göre tersine dönebildiğini gösteriyor: zor görevlerde insanlar performanslarını abartıp kendilerini başkalarından kötü görüyor, kolay görevlerde ise tersi. Rukiye'nin zor ve kolay sınavlardaki tahmin hataları bu örüntüye uyuyor. En kalıcı olan biçim, tahminlere gereğinden dar aralıklar vermek.
Yaygın yanlış"Bir konuda çok şey biliyorsam, iyi kalibre olmuşumdur."
Kalibrasyon, bilginin miktarını değil, bilginin sınırlarını ne kadar doğru hissettiğimizi ölçüyor. Sinan tadilat işini çok iyi biliyordu, ama işin süresine dair belirsizliği küçümsüyordu. Soll ve Klayman'ın çalışmasında öznel aralıklar, kişilerin kendi bilgilerinin doğruluğuna göre bile sistematik olarak çok dardı.
Yaygın yanlış"Kalibrasyon doğuştan gelir, geliştirilemez."
Mellers ve arkadaşlarının tahmin yarışmalarındaki en iyi tahminciler kısmen keşfedildi, kısmen yetiştirildi; başarıları yetenek kadar beceri, güdülenme ve ortamla da ilişkiliydi. Halil, Gülay ve Yusuf'un örneklerinde görüldüğü gibi, tahminleri kaydetmek ve sonuçlarla karşılaştırmak, aralıkları ayarlamanın ilk adımı.
Sınır
Moore ve Healy'nin dayandığı deneyler ile Soll ve Klayman'ın aralık soruları laboratuvar işi; Mellers ve arkadaşlarınınki ise seçilmiş ve güdülenmiş kişilerle, jeopolitik tahminler üzerine. Gündelik hayattaki kişisel tahminlere taşınması bir çıkarım.
On tahminlik bir hafta, kalibrasyonu kesin olarak ölçmek için az. On aralıktan sekizinin tutması da, dokuzunun tutması da şansla açıklanabilir. Görev, kalibrasyonunu ölçmekten çok, eminlik hissinle sonuçlar arasındaki ilişkiye bakmaya başlamak için bir yol.
Her durumda geniş aralıklar vermek de bir çözüm değil. Gereğinden geniş bir aralık, iyi kalibre olmuş gibi görünse de karar vermeye yardım etmiyor; "üç gün ile üç ay arasında" diyen bir usta, kimsenin işine yaramaz. Amaç aralıkları genişletmek değil, onları eminlik hissinle uyumlu hâle getirmek.
Kapanış
- Kalibrasyon, bir tahmine verilen güven ile o tür tahminlerin gerçekte doğru çıkma sıklığı arasındaki uyum; bilginin miktarından ayrı bir şey ve içeriden hissedilemiyor, ancak bir kayıtla görülebiliyor.
- Aşırı güven üç biçimde ortaya çıkıyor; kendini abartma ve başkalarından iyi görme görevin zorluğuna göre yön değiştirebiliyor, tahminlere gereğinden dar aralıklar vermek ise en kalıcı biçim.
- İnsanların "yüzde şu kadar eminim" diyerek verdiği aralıklar çoğu zaman çok dar; tahminleri kaydedip sonuçlarla karşılaştırmak, aralıkları eminlik hissiyle uyumlu hâle getirmenin bir yolu.
Üç soru
- Sinan'ın yüzde doksan emin olduğu aralıkları on iki işin dördünde tuttu. Kalibrasyon ve aşırı kesinlik kavramlarıyla bunu açıkla.
- Rukiye zor sınavlarda kendini abarttığını, kolay sınavlarda küçümsediğini fark etti. Moore ve Healy'nin çalışması bunu nasıl açıklıyor?
- Bir arkadaşın, "Aralıklarımın tutması için hep çok geniş aralıklar veririm" diyor. Bu stratejinin sorunu ne?
Yanıtlar
Birinci soruda kalibrasyon, bir tahmine verilen güven ile o tür tahminlerin doğru çıkma sıklığı arasındaki uyum. Sinan yüzde doksan emin olduğu aralıklar veriyordu; iyi kalibre olsaydı on iki işin yaklaşık on birinde aralığın tutması gerekirdi. Ama yalnızca dördünde tuttu. Bu, aşırı kesinliğin bir örneği: Sinan işin süresine dair belirsizliği küçümsüyor ve gereğinden dar aralıklar veriyordu. Her aksaklığı istisna saydığı için, istisnaların toplamda işin olağan bir parçası olduğunu görmedi; bunu ancak Nermin'in defteri gösterdi.
İkinci soruda Moore ve Healy, kendi performansını abartma ve kendini başkalarından iyi görme eğilimlerinin görevin zorluğuna göre tersine dönebildiğini gösteriyor. Zor görevlerde insanlar kendi performanslarını abartıyor; kolay görevlerde ise küçümsüyor. Rukiye'nin zor sınavlarda net tahminini yüksek tutması ve kolay sınavlarda düşük tutması bu örüntüye uyuyor. Bu, onun "hep kendini abartan" ya da "hep kendini küçümseyen" biri olmadığını, tahmin hatalarının görevin yapısıyla ilişkili olduğunu gösteriyor.
Üçüncü soruda çok geniş aralıklar vermek, aralıkların çoğunun tutmasını sağlayabilir, ama bu aralıklar karar vermeye yardım etmez. "Bir saat ile bir gün arasında" bir yolculuk tahmini neredeyse her zaman tutar, ama yola ne zaman çıkacağını planlamak için işe yaramaz. İyi kalibrasyon, aralıkların hem eminlik düzeyine uygun sıklıkta tutmasını hem de olabildiğince bilgi verici olmasını gerektiriyor. Arkadaşının stratejisi, aşırı kesinliği aşırı belirsizlikle değiştiriyor.
Sonraki derse köprü
Sinan'ın defteri, Halil'in sezonu ve Yusuf'un kargo kayıtları aynı şeyi gösterdi: eminlik, sayılmadan düzelmiyor. Kendi becerisini değerlendirmeye dair en çok anılan bulgulardan biri ise, en az bilenlerin kendilerini en çok abarttığını söyleyen bir etki. Sıradaki ders, «Dunning-Kruger etkisi», bu bulgunun gerçekte ne söylediğini, popüler anlatımın ona ne eklediğini ve etkinin bir kısmının istatistiksel bir artefakt olup olmadığına dair tartışmayı ele alıyor.
Anlamadığın bir yer mi var?
Mentor yalnız bu dersin metnine dayanarak cevap verir. Metinde geçmeyen bir şey sorarsan uydurmaz, geçmediğini söyler.