Kalibrasyon

Bir an

Cuma akşamüstü, bakım atölyesi. Kalıp gerçekten de cuma sabahı gelmiş ve Burak sevinçle uğrayıp gitmiş. Selin, Rıza Usta'nın yanında oturuyor. Altı ay önce, "muhtemelen" toplantısından sonra Rıza Usta'ya küçük bir şey önermişti: her hafta tuttuğu tahminlerin yanına bir yüzde yazmak. Hangi yedek parça zamanında gelir, hangi arıza ne kadar sürer, hangi tedarikçi sözünü tutar.

Rıza Usta altı ayda kırk tahmin yazmış. Selin defteri iki kümeye ayırıyor. "Usta, yüzde doksan yazdığın yirmi tahmin var. Bunların kaçı oldu?" Sayıyorlar: on dört. "Yüzde elli ile altmış arasında yazdığın on tahminin kaçı oldu?" Altı.

Rıza Usta kaşlarını kaldırıyor. "Demek ki ben 'yüzde doksan' dediğimde aslında yüzde yetmiş diyormuşum." Selin gülüyor: "Ama ortadakilerde tam isabet. Kalıp konusunda haklıydın; asıl sorun, emin olduğunda fazla emin olman."

Soru

Bir kişinin "yüzde doksan eminim" dediği şeylerin gerçekte ne kadarının doğru çıktığını nasıl ölçeriz, ve bu ölçüm tahminlerimizi nasıl iyileştirir?

Nasıl işler

Tek bir tahminin doğru ya da yanlış çıkması, o tahminin iyi olup olmadığını söylemez. Rıza Usta'nın kalıp için söylediği yüzde yetmiş beş doğru çıktı; ama yüzde yetmiş beşlik bir tahmin dörtte bir ihtimalle yanlış çıkacaktır ve bu durumda da kötü bir tahmin olmayacaktı. Bir tahmincinin sayılarını değerlendirmenin tek yolu, çok sayıda tahmini birlikte saymaktır.

Kalibrasyonu ölçmek basittir: tahminleri verdiğin olasılığa göre kümele ve her kümede kaç tanesinin gerçekleştiğini say. Rıza Usta'nın defterinde yüzde doksanlık kümede gerçekleşme oranı yüzde yetmişti; ellili-altmışlı kümede yüzde altmış. Yüzde doksanlık küme, verilen sayıların gerçekleşenden yüksek olduğu tanıdık bir yanılgıyı gösteriyor.

Kalibrasyon tek başına yetmez. Her tahmine "yüzde elli" diyen biri, olayların yarısı gerçekleşiyorsa mükemmel kalibre olmuş sayılabilir, ama hiçbir işe yaramaz; olacakla olmayacağı ayırmamıştır. İyi bir tahminci hem kalibre olmalı hem de olacak şeylere yüksek, olmayacak şeylere düşük sayılar vererek onları birbirinden ayırabilmelidir. Bu ikisini birlikte ölçen bir puan var.

Kanıt

Aşırı güveni sistemli biçimde ölçen ilk deneylerden biri, tam da Rıza Usta'nın defterindeki yanılgıyı ölçtü.

Aşırı güven bir kader değildir. Uzun süreli bir tahmin yarışmasının sonuçları, kalibrasyonun öğrenilebildiğini gösterdi.

Eğitimin içeriği de dikkat çekicidir: yazarlara göre eğitim bilişsel yanlılıkları düzeltti, tahmincileri benzer durumların sıklığına bakmaya, yani taban oranına, yöneltti ve birden çok tahmin olduğunda ortalama almak gibi basit kurallar verdi.

Nerede çöker

Kalibrasyon ölçümü çok sayıda tahmin ister. Rıza Usta'nın yüzde doksanlık kümesinde yirmi tahmin vardı; on dört yerine on yedi tahmin tutsaydı tablo bambaşka görünürdü. Az sayıda tahminden çıkan bir kalibrasyon tablosu, şansla kolayca oynar. Bu yüzden ilk tabloya bakıp "ben aşırı güvenliyim" ya da "ben çok iyi tahmin ediyorum" demek için erkendir.

Kalibrasyon, ölçülemeyen tahminlerde işlemez. "Bu iş beni mutlu edecek" ya da "bu evlilik iyi gidecek" gibi tahminlerin gerçekleşip gerçekleşmediğini söyleyecek net bir an yoktur. Bir tahmini puanlayabilmek için onu baştan ölçülebilir biçimde yazmak gerekir; karar defterinin kontrol listesinde beklentiyi ölçülebilir yazma maddesi tam bunun içindi.

Puan da oynanabilir. Brier puanı her tahmini eşit tartar. Biri yalnız kolay, sonucu neredeyse belli olayları tahmin ederek çok iyi bir puan toplayabilir. İki tahmincinin puanını karşılaştırmak, ancak aynı soruları tahmin ettiklerinde anlamlıdır. Mellers ve arkadaşlarının yarışmasında herkes aynı soruları tahmin ediyordu; gündelik hayatta bu çoğu zaman sağlanmaz.

Yaygın yanılgılar

Sayılarla

Rıza Usta'nın yüzde doksanlık yirmi tahminini Brier puanıyla değerlendirelim. Tutan 14 tahminde fark 1 ile 0,9 arasındadır, karesi 0,01. Tutmayan 6 tahminde fark 0 ile 0,9 arasındadır, karesi 0,81. Toplam 14 çarpı 0,01 artı 6 çarpı 0,81, yani 0,14 artı 4,86, yani 5. Yirmiye bölünce puan 0,25 çıkar.

Aynı yirmi tahmine yüzde doksan yerine yüzde yetmiş deseydi ne olurdu? Tutanlarda fark 0,3, karesi 0,09; tutmayanlarda 0,7, karesi 0,49. Toplam 14 çarpı 0,09 artı 6 çarpı 0,49, yani 1,26 artı 2,94, yani 4,2. Yirmiye bölünce 0,21. Aynı tahminler, yalnız güven düzeyi gerçeğe yaklaştırılınca daha iyi puan alır.

Bir de her şeye yüzde elli deseydi: her tahminde fark 0,5, karesi 0,25 ve ortalama yine 0,25. Yani Rıza Usta'nın aşırı güvenli yüzde doksanları, hiçbir şey bilmiyormuş gibi yüzde elli demekle aynı puanı aldı. Bilgisi vardı, ama aşırı güveni o bilginin puana yansımasını sildi.

Herkes için aynı mı?

Hayır. Kalibre olmak, sonuçları görebilmeye ve görülen sonuçla yüzleşmenin bedeline bağlıdır.

Rıza Usta tahminlerinin sonuçlarını her hafta görüyor; yedek parça ya geliyor ya gelmiyor. Bu tür hızlı ve net geri bildirim, kalibrasyonun öğrenilmesi için gereklidir. Sonucunu yıllar sonra öğrendiğin ya da hiç öğrenmediğin tahminlerde, örneğin bir yatırımın uzun vadeli getirisinde ya da bir çocuğun okul seçiminin sonuçlarında, kalibrasyonu öğrenmek çok daha zordur. Hızlı geri bildirim alan bir işte çalışmak, bu bakımdan bir avantajdır.

Güvenin toplumsal bedeli de herkese eşit değildir. Satış müdürü Nermin Hanım'ın işinde müşteriye güvenle konuşmak ödüllendirilir; "yüzde altmış ihtimalle yetişir" demek, rakibin "kesin yetişir" demesi karşısında işi kaybettirebilir. Rıza Usta'nın işinde ise fazla güven, boş bekleyen bir üretim hattına mal olur. Aynı kişi farklı bir işte farklı ölçüde aşırı güvenli davranmaya itilebilir; kalibrasyon yalnız bireysel bir beceri değil, bir ortamın neyi ödüllendirdiğiyle de ilgilidir.

Kendi hayatında

Rıza Usta'nın altı ayda yaptığını küçük ölçekte başlat.

Tabloyu karar defterine geçir ve en yüksek güven kümene bak: yüzde doksan dediklerinin gerçekte kaçı tuttu? Yirmi tahmin az sayıdır; tablo bir kesin hüküm değil, ilk ipucudur. Aynı alıştırmayı birkaç ay sürdürürsen ipucu bir ölçüme dönüşür.

Kapanış

1. Tek bir tahminin tutması bir şey göstermez; kalibrasyon, çok sayıda tahminin verilen olasılıklara göre kümelenip her kümede ne kadarının gerçekleştiğinin sayılmasıyla ölçülür.
2. Fischhoff ve arkadaşlarının deneylerinde katılımcılar emin oldukları cevaplarda da beklenenden sık yanıldı; ama Mellers ve arkadaşlarının tahmin yarışmasında kısa bir eğitim ve takım çalışması kalibrasyonu iyileştirdi.
3. Brier puanı hem kalibrasyonu hem ayırt etmeyi ödüllendirir: Rıza Usta'nın aşırı güvenli yüzde doksanları, hep yüzde elli demekle aynı puanı aldı; güvenini gerçeğe yaklaştırsaydı daha iyi puan alacaktı.

Beş soru

1. Bir arkadaşın son üç tahmininin tuttuğunu söyleyip iyi bir tahminci olduğunu iddia ediyor. Ona ne söylersin?
2. Biri yüzde seksen dediği otuz tahminin on beşinde haklı çıkmış. Bu kişi bu kümede kalibre mi, aşırı güvenli mi, yetersiz güvenli mi?
3. Her şeye yüzde elli diyen bir tahminci neden iyi kalibre görünebilir, ve Brier puanı onu nasıl yakalar?
4. Mellers ve arkadaşlarının yarışmasında olasılık eğitimi tahmincilere neyi öğretti?
5. Rıza Usta'nın yüzde doksanlık yirmi tahmininin Brier puanı 0,25 çıktı. Aynı tahminlere yüzde yetmiş deseydi puanı neden düşerdi?

Yanıtlar

İlk soruda üç tahmin çok azdır; yüzde yetmiş beşlik tahminlerin üçü üst üste şansla da tutabilir. İyi bir tahminci olup olmadığını görmek için çok sayıda tahmini olasılıklarıyla birlikte yazmak ve her güven düzeyinde kaç tanesinin tuttuğunu saymak gerekir.

İkinci soruda yüzde seksen denen tahminlerin yalnız yüzde ellisi tutmuş; bu kişi o kümede aşırı güvenlidir. Kalibre olsaydı otuz tahminden yaklaşık yirmi dördünün tutması gerekirdi.

Üçüncü soruda olayların yarısı gerçekleşiyorsa her şeye yüzde elli demek, verilen olasılıkla gerçekleşme sıklığını eşitler ve kalibre görünür. Ama bu tahminci olacakla olmayacağı hiç ayırmamıştır. Brier puanı her tahminde 0,25 verir; olacak şeylere yüksek, olmayacak şeylere düşük sayı veren bir tahminci bunun altına inebilir.

Dördüncü soruda yazarlara göre eğitim bilişsel yanlılıkları düzeltti, tahmincileri benzer durumların sıklığına, yani taban oranına bakmaya yöneltti ve birden çok tahmin olduğunda ortalama almak gibi basit kurallar verdi.

Beşinci soruda Rıza Usta'nın yüzde doksanlık tahminleri gerçekte yüzde yetmiş oranında tutuyordu. Yüzde yetmiş demek, tutmayan altı tahmindeki büyük cezayı küçültür: 0,81 yerine 0,49. Tutanlardaki küçük ceza biraz artar, 0,01 yerine 0,09, ama toplamda puan 0,25'ten 0,21'e iner.

Sonraki derse köprü

Rıza Usta'nın kalıp tahmini tuttu, ama bu tahminin ne kadarı onun bilgisinden, ne kadarı şanstan geliyordu? Bir sonucu beceriye mi şansa mı bağlamak gerektiği, kalibrasyonun neden çok sayıda tahmin istediğinin de açıklamasıdır. 1.6, şans mı beceri mi sorusunu bir yelpaze üzerinde tartıyor.