Uzmanlar geleceği bilir mi?

Bir an

Salı akşamı, haber bülteninin ekonomi kuşağı. Stüdyodaki konuk, kravatını düzelterek konuşuyor: "Yıl sonunda kurda sert bir hareket beklemiyorum. Bunu geçen yıl da söylemiştim; bu yıl koşullar çok daha net." Hüseyin kumandayı bırakıp Saniye'ye dönüyor: "Adam çok emin konuşuyor."

Saniye telefonundan bir şey arıyor ve bulduğunu gösteriyor: aynı programın bir yıl önceki kaydı. Aynı konuk o gün de sert bir hareket beklemediğini söylemiş; kur o yıl sert hareket etmiş. "Kimse bunu sormuyor," diyor Saniye. "Ne sunucu, ne o."

Ertesi sabah dükkâna gelen komşu esnaf aynı soruyu Hüseyin'e soruyor: yapı marketi açılınca dükkân ne olacak? Hüseyin pazartesi "bana bir şey olmaz, benim müşterim başka" demişti; bugün "iki yıl içinde kapatırız" diyor. Otuz yıldır bu işin içinde. Kendi alanının geleceği hakkında bile iki gün arayla iki ayrı şey söylüyor.

Soru

Otuz yıllık deneyim, bir işin gelecek yıllarını görmeye ne ölçüde yeter? Hangi düşünme biçimi tahminde daha isabetlidir, ve yanılan uzman bunu neden çoğu zaman fark etmez?

Nasıl işler

Uzmanlık iki ayrı işi içerir: bir alanı açıklamak ve o alanın geleceğini tahmin etmek. 10.1'de gördüğümüz gibi, sezgi düzenli bir ortamda ve hızlı geri bildirimle gelişir. Siyaset, döviz ve piyasa gibi alanlarda ise ortam düzensiz, geri bildirim yavaştır; tahminin doğru çıkıp çıkmadığı aylar ya da yıllar sonra belli olur ve çoğu zaman hiç kontrol edilmez. Açıklamada derinleşen bilgi, tahmine kendiliğinden geçmez.

Philip Tetlock, uzmanların tahminlerini toplayıp sonuçlarla karşılaştırdı ve isabetin, uzmanın ne bildiğinden çok nasıl düşündüğüne bağlı olduğunu öne sürdü. Bunun için, düşünür Isaiah Berlin'in bir ayrımını ödünç aldı.

Uzman yanıldığında, yanıldığını kabul etmek yerine çoğu zaman tahminini savunacak bir yol bulur.

Tahmin isabeti yalnız uzman ya da sıradan kişi olmaya bağlı değilse, iyi tahmin edenler başka bir yolla bulunabilir: aynı sorulara verilen tahminleri yarıştırarak.

Kanıt

Tetlock, yanılan uzmanların bunu nasıl karşıladığını da ayrıca inceledi.

İyi tahmin edenlerin bulunup bulunamayacağı, büyük bir tahmin yarışmasında sınandı.

Nerede çöker

Tilki ile kirpi ayrımı akılda kalıcıdır, ama kolayca yanlış kullanılır. İnsanlar tam bir tilki ya da tam bir kirpi değildir; bir sürekliliğin üzerinde dururlar ve aynı kişi bir konuda tilki, başka bir konuda kirpi gibi düşünebilir. Ayrımı bir kişilik etiketi gibi kullanmak, Tetlock'un ölçtüğü şeyi bir kalıba sokmak olur. Bu, ayrımın kendisini bir kirpi fikrine dönüştürür.

Ufuk da bir sınırdır. Mellers ve arkadaşlarının yarışmasında tahminler puanlanabilsin diye sorular, sonucu yarışma süresi içinde belli olacak biçimde seçilmiş olmalıdır; özet bu soruların ne kadar ileriye baktığını söylemez. Süper tahmincilerin birkaç aylık bir soruda gösterdiği başarının, on yıllık bir soruya taşınıp taşınmadığı bu yarışmalardan anlaşılamaz. Hüseyin'in "yapı marketi açılınca dükkânım ne olur?" sorusu, birkaç yıla yayılan ve sonucu birçok başka etkene bağlı bir sorudur.

Ölçümün kendisi de sorun çıkarır. Tahmin ancak açıkça yazıldığında ölçülebilir: "kurda sert bir hareket beklemiyorum" cümlesi, "sert" kelimesi tanımlanmadığı sürece yanlışlanamaz. Bu belirsizlik, inanç savunmasına en uygun zemini hazırlar. Tetlock'un uzmanlarının "az kalsın haklıydım" diyebilmesi, tahminlerin bir sonuca bağlanıp bağlanmadığına göre değişir.

Yaygın yanılgılar

Sayılarla

Hesap iki şey gösterir. Kirpinin sorunu bilgisizlik değil, her soruya aynı güvenle bakmasıdır: aynı yüzde 90, hem tutan hem tutmayan sorularda kullanılır. Tilkinin üstünlüğü ise soruları birbirinden ayırabilmesinden gelir; yüzde 70 dediklerinin çoğu gerçekleşir, yüzde 30 dediklerinin çoğu gerçekleşmez.

Bir de taban çizgisi vardır. Yalnızca genel sıklığı bilen biri, kirpiden belirgin biçimde iyi bir puan alır. Bir uzmanın tahmini, en azından bu basit taban çizgisini geçmelidir; geçemiyorsa uzmanlığı, tahmin için bir şey eklemiyordur.

Herkes için aynı mı?

Hangi uzmanı dinlediğimiz, kimin sesinin daha çok duyulduğuna bağlıdır. Televizyon ve sosyal medya, kısa ve kendinden emin cümleleri ödüllendirir. "Yüzde altmış olasılıkla, şu koşullar sürerse" diyen bir uzman kararsız görünür; "kesinlikle olmaz" diyen ise güçlü. Tetlock'un medyanın değer verdiği nitelik ile iyi yargı arasında bulduğu ters ilişki, en çok duyulan seslerin en isabetli sesler olmayabileceği anlamına gelir.

Bu, uzman yorumlarına bütçesini, birikimini ya da işini bağlayan sıradan insanlar için önemlidir. Bir danışmana para ödeyemeyen biri, kararını çoğu zaman televizyondaki ya da sosyal medyadaki yorumcuya göre verir. O yorumcunun geçmiş tahminleri kayıt altında değilse, dinleyici onun isabetini ölçemez. Tahminlerin kaydedilip sonuçlarla karşılaştırıldığı yarışmalar ise, kim olursa olsun, iyi tahmin edeni görünür kılar: Mellers ve arkadaşlarının süper tahmincileri unvanlarıyla değil, puanlarıyla seçildi.

Kendi hayatında

Hüseyin bir deneme yapmaya karar veriyor. Dükkânın tezgâhının altındaki defterin son sayfasına, televizyonda ya da gazetede duyduğu her ekonomik tahmini, tarihiyle ve kimin söylediğiyle yazacak. Tahmin belirsizse, örneğin "sert bir hareket" gibi, kendi yorumunu da yanına ekleyecek: "kur yüzde 10'dan fazla artarsa sert sayarım."

Kendi tahminleri için de aynısını yapıyor. Yapı marketi sorusuna artık tek bir cevap vermek yerine, bir olasılık ve bir koşul yazıyor: "Market açıldıktan sonraki ilk yıl cirom yüzde 20'den fazla düşerse kapatma ihtimalini ciddi düşüneceğim; bunun olma olasılığı bence yüzde 40." Bir yıl sonra defter ona, hem yorumculardan hem kendisinden bir şeyler söyleyecek.

"Az kalsın haklıydım" türünden bir cevap gördüğünde onu ayrıca işaretle.

Kapanış

1. Bir alanı açıklamak ile o alanın geleceğini tahmin etmek farklı işlerdir: Tetlock, tahmin isabetinin uzmanın ne bildiğinden çok nasıl düşündüğüne bağlı olduğunu öne sürer; birçok küçük fikirle çalışan tilki, tek bir büyük fikre bağlı kirpiden daha başarılı tahmin eder.
2. Yanılan uzman bunu çoğu zaman fark etmez: Tetlock'un 1998 çalışmasında uzmanlar görüşlerini koruyan "az kalsın haklıydım" senaryolarını benimsedi, görüşlerini tehdit edenleri reddetti.
3. İyi tahmin edenler, aynı sorulara verilen tahminleri yarıştırarak bulunabilir ve yetiştirilebilir: süper tahminciler iki yıl üst üste ortalamaya dönüş beklentisini boşa çıkardı; ama bu yarışmaların ufku kısadır ve uzun vadeli tahmin hakkında aynı güvenle konuşmaz.

Beş soru

1. Açıklamak ile tahmin etmek neden farklı işlerdir?
2. Tilki ile kirpi arasındaki fark nedir ve Tetlock hangisini tahminde daha başarılı bulur?
3. Tetlock'un 1998 çalışmasında uzmanlar "az kalsın" senaryolarına hangi durumda kabul, hangi durumda ret gösterdi?
4. Sayılarla bölümünde kirpi neden yalnızca genel sıklığı bilen birinden kötü bir puan aldı?
5. Süper tahmincilerin başarısı, uzun vadeli tahminler hakkında neden aynı güvenle bir şey söylemez?

Yanıtlar

Açıklamada derinleşen bilgi, tahmine kendiliğinden geçmez. Siyaset, döviz ve piyasa gibi alanlarda ortam düzensiz, geri bildirim yavaştır; tahminin doğru çıkıp çıkmadığı aylar ya da yıllar sonra belli olur ve çoğu zaman hiç kontrol edilmez.

Kirpi tek bir büyük şey bilir ve her soruya aynı kalıbı uygular; tilki birçok küçük şey bilir, farklı geleneklerden beslenir ve olaylar değiştikçe görüşünü uyarlar. Tetlock, tilkinin geleceği tahmin etmekte daha başarılı olduğunu öne sürer.

Uzmanlar, geçmişi anlamak için benimsedikleri çerçeveyi zayıflatan senaryoları reddetti. Koşullu tahminlerini yanlışlanmaktan koruyan senaryoları ise kolayca benimsedi. Aynı akıl yürütme, görüşü koruduğunda kabul, tehdit ettiğinde ret gördü.

Kirpi on sorunun hepsine aynı yüzde 90'ı verdi ve tutmayan dört soruda büyük bir karesel farkla cezalandırıldı; puanı 0,33 oldu. Her soruya yüzde 60 diyen biri, aşırı güvenden kaçındığı için 0,24 aldı.

Mellers ve arkadaşlarının yarışmasında tahminlerin puanlanabilmesi için soruların sonucu yarışma süresi içinde belli olmalıydı. Birkaç aylık bir sorudaki başarının, sonucu birçok başka etkene bağlı on yıllık bir soruya taşınıp taşınmadığı bu yarışmalardan anlaşılamaz.

Sonraki derse köprü

Selin, babasının defterindeki yapı marketi tahminini okuyunca bir şey öneriyor: tek bir olasılık yazmak yerine, birbirinden çok farklı üç gelecek çizmek. Birinde market kalabalığı çeker ve küçük esnaf ezilir, birinde market büyük alımlara odaklanır ve mahalleli yine dükkâna gelir, birinde de kira ve döviz her şeyi değiştirir. Hüseyin şaşırıyor: üçünden hangisinin olacağını bilmeden üçüne birden nasıl hazırlanılır? 11.5, Tek gelecek yok dersi, senaryo düşüncesini tahminden ayırıp birkaç olası geleceğe karşı sağlam karar kurmayı deneyecek.