4.9 · Seviye 4 · Düşünce ve yargı
Dunning-Kruger etkisi
Bulgunun ne söylediği, popüler anlatımın ne eklediği ve istatistiksel artefakt tartışması
Farkındalık Akademisi — M11, Kesinlik ve Kalibrasyon · 2.242 kelime · 4 gündelik durum · ≈ 10 dk okuma · 15 dk dinleme
Gündelik durumlardaki kişiler kurgusaldır; araştırmalar ve kaynaklar gerçektir. Bu dersler tıbbi ya da psikolojik değerlendirmenin yerini tutmaz.
Açılış
Elazığ'da bir mahalle kahvesinde akşamüstü dört arkadaş otururken biri telefonundan bir grafik gösteriyor: yatay eksende "bilgi", dikey eksende "özgüven" yazıyor; eğri önce dik bir tepeye çıkıyor, sonra derin bir çukura iniyor, sonra yavaşça yükseliyor. Tepenin üstünde "cahil cesareti" yazıyor. "İşte Dunning-Kruger," diyor Necati, "az bilen çok konuşur, bilimsel olarak kanıtlanmış."
Masada lise kimya öğretmeni Saliha da var. Grafiğe bakıp bir şey soruyor: "Bu eğri hangi çalışmadan? Hangi sayılardan çizilmiş?" Kimse bilmiyor. Saliha akşam evde özgün makaleyi buluyor ve okuyor. Makalede tepe de çukur da yok. Katılımcılar dört gruba ayrılmış, her grubun gerçek puanı ile kendi tahmini karşılaştırılmış. En düşük puanlı grup kendini olduğundan çok daha yüksek tahmin etmiş; bu doğru. Ama grafikteki gibi bir eğri çizilmemiş, "özgüven" diye bir şey de ölçülmemiş.
Saliha'nın bulduğu şey, bu modülün sorusunun özel bir örneği: kendi becerimizi ne kadar doğru tahmin ediyoruz? Ama aynı zamanda başka bir şey: çok anılan bir bulgunun, anlatıldıkça nasıl değiştiği. Ders üç katmanı ayırıyor: makalenin ölçtüğü, internetteki eğrinin uydurduğu ve araştırmacıların hâlâ çekiştiği kısım, yani abartmanın ne kadarının sayıların kendi davranışından doğduğu.
Tek fikir
Bir testte en düşük puanı alanlar kendi başarılarını abartıyor. Bunun ne kadarının kendi hatasını göremeyen bir zihinden, ne kadarının ölçümün yapısından geldiği hâlâ tartışılıyor. Popüler eğri ise bulgunun söylemediği bir şeyi söylüyor.
Nasıl işler
Sinan'ın defterinde gördüğümüz aşırı kesinlik, aşırı güvenin üç yüzünden biriydi. Bir başkası, kişinin kendini kalabalığın içinde yukarılara koymasıydı. Dunning-Kruger etkisi bu biçimle ilgili, ama özel bir iddiası var.
İddianın iki parçası var. Birincisi bir gözlem: düşük puan alanlar kendilerini olduğundan yüksek tahmin ediyor. İkincisi bir açıklama: bunun nedeni, doğruyu yanlıştan ayırt etmeyi sağlayan becerinin de eksik olması.
Gözlem ile açıklama ayrı sınanabilir ve tartışmanın büyük kısmı bu ayrımda dönüyor. Gözlemin kendisini, en azından bir kısmını, iki istatistiksel olgu da üretebiliyor. Birincisi, bu akademinin başlangıç kaydı dersinde gördüğümüz ortalamaya dönüş. Bir testte çok düşük puan alan birinin puanı, kısmen şanssızlıktan da kaynaklanıyor olabilir; onun kendi tahmini ise bu şanssızlığı bilmediği için daha ortaya yakın düşer. İkincisi, Temel Psikoloji Akademisi'nin sosyal karşılaştırma dersinde tanımladığı ortalamanın üstünde olma etkisi: insanların çoğu kendini ortalamanın biraz üstünde görme eğiliminde. Bu iki olgu birleşince, düşük puan alanların kendini abarttığı, yüksek puan alanların ise kendini hafifçe küçümsediği bir tablo, hiçbir üstbilişsel eksiklik olmadan da ortaya çıkabiliyor.
Popüler anlatım ise bu tartışmanın tamamen dışında kalıyor. "Cahil cesareti tepesi" olan eğri, bir kişinin zaman içinde öğrendikçe özgüveninin nasıl değiştiğini anlatıyor gibi; oysa özgün çalışma aynı anda farklı kişileri karşılaştırdı, kimseyi zaman içinde izlemedi ve "özgüven" değil, yüzdelik dilim tahmini ölçtü.
Farkındalık açısından bu ders iki şey öğretiyor. Birincisi, kendi becerimizi değerlendirirken, özellikle yeni olduğumuz bir alanda, kendi hatalarımızı görmekte zorlanabiliriz. İkincisi, çok yayılmış bir bulguyla karşılaştığımızda, onu kendi gözümüzle doğrulamak, Saliha'nın yaptığı gibi kaynağa dönmek gerekiyor.
Ne biliyoruz
Etkiye adını veren çalışma, dört deneyle yapıldı.
Dört çalışmada, mizah, dil bilgisi ve mantık testlerinde en alttaki çeyrekte puan alan katılımcılar, test performanslarını ve yeteneklerini fazlasıyla abarttı. Puanları onları yüzde on ikilik dilime yerleştirirken, kendilerini yüzde altmış ikilik dilimde tahmin ettiler. Birkaç analiz bu kalibrasyon bozukluğunu üstbilişsel beceri eksiklerine bağladı. Paradoksal biçimde, katılımcıların becerisini geliştirmek ve dolayısıyla üstbilişsel yetkinliklerini artırmak, yeteneklerinin sınırlarını fark etmelerine yardım etti.
Çalışmanın açıklaması kısa süre sonra bir tekrar ve yeniden analizle sınandı.
Bir tekrar çalışması, aday değişkenlerin hiçbirinin bu ilişkiye aracılık ettiğine dair bir kanıt göstermedi. Yazarlara göre asimetrik hatalar, istatistiksel gerileme ve genel ortalamanın üstünde olma eğilimi nedeniyle zaten beklenmeliydi. Bu daha yalın modelle uyumlu olarak, gerileme ya da ortalamanın üstünde olma etkisi istatistiksel olarak çıkarıldığında hatalar artık asimetrik değildi. Hatta yüksek puan alanlar, kendilerinin grup içindeki yerini tahmin ederken başkalarının performansına dair kendi tahminlerini göz ardı etmeye daha yatkındı.
Tartışma, yıllar sonra çok büyük bir tekrar ve bir hesaplama modeliyle yeniden ele alındı.
Bu açıklamaları ayırmak için, temel çalışmalardan birini, iki çalışmanın her birinde yaklaşık dört bin katılımcıyla büyük ölçekte tekrarladılar. Modelin iki biçiminin öngörülerini karşılaştırmak, dil bilgisi ve mantıksal akıl yürütme alanlarında düşük performans gösterenlerin, bir cevabın doğru olup olmadığını tahmin etmekte daha az yetenekli olduğunu destekledi.
Bu üç kaynağı yan yana koyunca tablo şöyle: gözlem sağlam, açıklama karışık. Etkinin bir kısmı ölçümün yapısından geliyor olabilir; ama düşük performans gösterenlerin kendi cevaplarının doğruluğunu değerlendirmekte gerçekten zorlandığına dair kanıt da var.
Gündelik hayatta
Gözlem görevi
İki hafta boyunca, yeni olduğun bir alanda ve iyi bildiğin bir alanda kendi performansını tahmin edip gerçek sonuçla karşılaştıracaksın.
Kayıt: Her görevin satırına şunlar girer: alan, görev, önceki tahmin, sonraki tahmin, gerçek sonuç, işaretlediğin şüpheli noktalar, bunların kaçı gerçekten yanlıştı, işaretlemediğin hataların sayısı. İki hafta sonunda iki alanı karşılaştır: hangisinde tahminlerin gerçek sonuca daha yakındı? Hangisinde kendi hatalarını önceden fark etmekte daha isabetliydin? Yeni alandaki isabetin, iki hafta içinde değişti mi?
Görevin amacı kendini yeni alanda "cahil", eski alanda "uzman" olarak etiketlemek değil. Amaç, kendi hatalarını fark etme becerinin alandan alana nasıl değiştiğini ve pratikle nasıl geliştiğini görmek.
Yaygın yanılgılar
Yaygın yanlış"En cahil olanlar en emin olanlardır."
Kruger ve Dunning'in çalışmasında en alttaki çeyrek kendini yüzde altmış ikilik dilimde tahmin etti; bu büyük bir abartma, ama çalışma "özgüveni" değil, başkalarına göre konum tahminini ölçtü. Popüler eğrideki "cahil cesareti tepesi" özgün çalışmada çizilmedi; çalışma kimseyi zaman içinde izlemedi. Bulgu, en az bilenlerin en emin olduğunu değil, kendilerini olduklarından çok daha iyi tahmin ettiklerini söylüyor.
Yaygın yanlış"Dunning-Kruger etkisi bir istatistik hatasından ibarettir."
Krueger ve Mueller'in yeniden analizi, etkinin büyük kısmının ortalamaya dönüş ve ortalamanın üstünde olma eğilimiyle açıklanabileceğini gösterdi. Ama Jansen ve arkadaşlarının çok büyük tekrarı, dil bilgisi ve mantık alanlarında düşük performans gösterenlerin kendi cevaplarının doğruluğunu değerlendirmekte gerçekten daha az yetenekli olduğunu destekliyor. İki açıklama birbirini dışlamıyor; tartışma hâlâ sürüyor.
Yaygın yanlış"Dunning-Kruger etkisini bilen biri ondan korunur."
Bu modülün önceki derslerinde, bir yanlılığı bilmenin onu ortadan kaldırmadığını gördük. Kruger ve Dunning'in çalışmasında abartmayı azaltan şey, etkiyi bilmek değil, katılımcıların becerisini geliştirmekti. Ercan'ın kursiyerleri ve Kemal'in ödevleri de aynı yöne işaret ediyor: kendi hatalarını görmek, o alanda pratik yaptıkça ve geri bildirim aldıkça gelişiyor.
Sınır
Bu dersteki çalışmalar laboratuvarda, belirli test türleriyle yapıldı: mizah, dil bilgisi, mantık. Gerçek hayattaki becerilere, örneğin araba kullanmaya, bir mesleğe ya da bir dile taşınması bir çıkarım. Tartışmanın kendisi de teknik: etkinin ne kadarının istatistiksel olgulardan, ne kadarının üstbilişsel farklardan geldiği, kullanılan analiz yöntemine göre değişiyor.
"Dunning-Kruger" kavramı gündelik dilde bir hakaret olarak kullanılabiliyor. Birine bu etiketi yapıştırmak, ne bulgunun söylediği ne de işe yarar bir şey. Bu ders kavramı başkalarını değerlendirmek için değil, kendi yeni öğrendiğimiz alanlarda kendi hatalarımızı görmenin zorluğunu hatırlamak için öğretiyor.
Görevdeki karşılaştırma iki alanla ve iki haftayla sınırlı. Tahminlerin ve gerçek sonuçların karşılaştırılması, kendi kalibrasyonun hakkında bir ipucu verir, ama kesin bir ölçüm değildir.
Kapanış
- Bir testte en düşük puanı alanlar kendilerini olduğundan çok daha yüksek tahmin ediyor; bu gözlem sağlam, ama ne kadarının kendi hatalarını görememekten, ne kadarının ortalamaya dönüş ve ortalamanın üstünde olma eğiliminden geldiği tartışmalı.
- Çok büyük bir tekrar, düşük performans gösterenlerin kendi cevaplarının doğruluğunu değerlendirmekte gerçekten daha az yetenekli olduğunu destekliyor; istatistiksel açıklamalar ile üstbilişsel açıklama birbirini dışlamıyor.
- Popüler "cahil cesareti" eğrisi özgün çalışmanın söylemediği bir şeyi anlatıyor; kendi hatalarını görme becerisi ise etkiyi bilmekle değil, o alanda pratik ve geri bildirimle gelişiyor.
Üç soru
- Saliha özgün makaleyi okuduğunda, popüler grafikteki eğrinin çalışmada olmadığını gördü. Çalışmanın gerçekte neyi ölçtüğünü ve grafiğin ona ne eklediğini açıkla.
- Krueger ve Mueller'e göre, hiçbir üstbilişsel eksiklik olmasa bile düşük puan alanların kendini abarttığı bir tablo nasıl ortaya çıkabilir?
- Seda, ekibin en deneyimlisi olduğu hâlde kendini ortalamada görüyordu. Bu durum, Dunning-Kruger tartışmasının hangi tarafına bir örnek?
Yanıtlar
Birinci soruda Kruger ve Dunning, katılımcıları test puanlarına göre dört gruba ayırdı ve her grubun gerçek puanını, kendi performanslarına ve başkalarına göre konumlarına dair tahminleriyle karşılaştırdı. En alttaki çeyrek, yüzde on ikilik dilimde olduğu hâlde kendini yüzde altmış ikilik dilimde tahmin etti. Grafik ise bu bulguya üç şey ekliyor: zaman içinde bir değişim, oysa çalışma kimseyi zaman içinde izlemedi; "özgüven" diye bir ölçüm, oysa ölçülen şey konum tahminiydi; ve bir tepe ile çukur, oysa çalışmada böyle bir eğri yok.
İkinci soruda Krueger ve Mueller iki istatistiksel olguya işaret ediyor. Birincisi ortalamaya dönüş: bir testte çok düşük puan alan birinin puanı kısmen şanssızlıktan kaynaklanıyor olabilir, ama kişinin kendi tahmini bu şanssızlığı bilmediği için ortaya daha yakın düşer; sonuçta puan ile tahmin arasında büyük bir fark görünür. İkincisi ortalamanın üstünde olma eğilimi: insanların çoğu kendini ortalamanın biraz üstünde görüyor. Bu iki olgu birleşince, düşük puan alanlar kendini abartmış, yüksek puan alanlar ise kendini hafifçe küçümsemiş görünür; ve Krueger ile Mueller, bu olgular istatistiksel olarak çıkarıldığında asimetrinin kaybolduğunu buldu.
Üçüncü soruda Seda'nın durumu, yüksek performans gösterenlerin kendilerini hafifçe küçümseyebildiği tarafa bir örnek. Krueger ve Mueller, yüksek puan alanların kendilerini değerlendirirken başkalarının performansına dair tahminlerini göz ardı etmeye yatkın olduğunu buldu. Seda'nın küçümsemesi, düşük performans gösterenlerin abartmasıyla birlikte, kalibrasyon hatalarının yalnızca bir yönde olmadığını gösteriyor.
Sonraki derse köprü
Bu derste kendi hatalarımızı görmenin ne kadar zor olabildiğini ve çok anılan bir bulgunun ne kadar dikkatli okunması gerektiğini gördük. Bunun gündelik bir karşılığı var: bir konuda emin olmadığımızda bunu nasıl söyleyeceğimiz. Sıradaki ders, «"Bilmiyorum" demenin zanaatı», belirsizliği sözle işaretlemeyi ve bir şeyi bilmediğimizi fark etmek ile bunu kabul edip söylemek arasındaki farkı ele alıyor.
Anlamadığın bir yer mi var?
Mentor yalnız bu dersin metnine dayanarak cevap verir. Metinde geçmeyen bir şey sorarsan uydurmaz, geçmediğini söyler.