Aralıkla tahmin ve kalibrasyon

Sahadan bir an

Çarşamba öğleden sonra, muhasebe. Gönül Hanım Ilgın'a on soruluk bir kâğıt uzatıyor; cevapları kendi defterinde, kapalı bir sayfada duruyor.

Gönül Hanım: Her soru için bir alt ve bir üst sınır yaz. Yüzde doksan emin olacaksın: gerçek değer, on sorunun dokuzunda senin aralığının içinde kalmalı.

Ilgın: Geçen yıl fabrikaya giren kamyon sayısı, boyahanenin bir vardiyadaki parça kapasitesi, kalite laboratuvarının taşınma maliyeti... Bunları kabaca biliyorum.

Gönül Hanım: Kabaca bilmek yeter. Aralık bunun için.

Ilgın: Bitti. Dar tuttum; çoğunu iyi biliyorum.

Gönül Hanım: On sorunun altısında gerçek değer aralığının içinde. Dördünde dışında.

Ilgın: Yüzde doksan dedim, yüzde altmış tutmuş.

Ilgın'ın aralıkları dar çünkü kendini iyi bildiğini düşünüyordu; ve bildiği şeyler hakkında bile, neredeyse kesin saydığı on aralığın dördü ıskaladı. Bu küçük deneyin önemi, cebindeki notta: tam taşınma için genel müdüre on üç ile yirmi haftalık bir aralık, yanında da "yüzde doksan" yazılı. Ilgın'ın yüzde doksanı gerçekte yüzde altmışsa, o not genel müdüre söylediğinden çok daha az güvence veriyor.

Kavram

Tek bir sayı, bir tahminin ne kadar belirsiz olduğunu söylemez. "On iki hafta" deyen kişi, on bir ile on üç arasında emin de olabilir, sekiz ile yirmi arasında da. Bu bilgi tahminin kendisi kadar önemlidir.

10.3'teki üç noktalı tahmin bir aralık veriyordu, ama o aralığın uçlarına bir olasılık bağlamıyordu: iyimser değerin hangi olasılıkla gerçekleşeceği hiç yazılmamıştı. Tahmin aralığı uçlara bir güvence bağlar ve bu güvence sınanabilir. Sınamanın yolu, çok sayıda tahmin aralığının sonucuna bakmaktır.

Ilgın'ın on sorusunda güven düzeyi yüzde doksan, isabet oranı yüzde altmış. Bu fark bir ölçü.

Ilgın'ın sonucu, yazılım tahmini üzerine yapılmış çalışmaların bulduğu şeye çok yakın. Bir araştırma grubu, yazılımcıların yüzde doksan emin oldukları en düşük ile en yüksek süre aralıklarının, tipik olarak yalnızca yüzde altmış ile yetmiş oranında isabet ettiğini aktarıyor. Bu yaygın aşırı güvenin bir adı var.

Aşırı kesinlik, Ilgın'ın kâğıdındaki dört ıskalamanın ortak nedeni. Kamyon sayısını kabaca biliyordu; ama "kabaca" bilginin aralığı, onun yazdığından genişti. Kalibrasyonun ilk dersi bu: emin olduğunu hissettiğin şeylerde bile, aralığı ilk içgüdüden daha geniş tutmak.

İkinci ders daha şaşırtıcı. Aynı araştırma grubunun bir başka çalışmasında, yazılımcılar beş iş için tahmin yapıp işleri bitirdi; bir gruba her işten sonra kendi tahmin deneyimini en az yarım saat çözümlemesi söylendi. Bu ders çıkarma oturumları, ne tahminlerin isabetini ne de belirsizlik değerlendirmesinin gerçekçiliğini iyileştirdi. Bir izleme çalışmasında ise başka yazılımcıların tahmin performansı hakkında bilgi almak, aynı bilgiyi kendi tahminleri hakkında almaktan daha gerçekçi belirsizlik değerlendirmeleri sağladı. İnsan kendi hatasına bakarken onu açıklamanın yolunu buluyor; başkasının hatasına bakarken onu olduğu gibi görüyor.

Bu bulgu Ilgın'a iki şey söylüyor. Birincisi, kendi kalibrasyonunu yalnız kendi tahmin kaydına bakarak düzeltmeye çalışmak yetmeyebilir. İkincisi, Gönül Hanım'ın klasörü, başkalarının tahminlerinin nasıl sonuçlandığının kaydı, kendi tahminlerinin sonucundan daha iyi bir öğretmen olabilir. Ilgın tam taşınma aralığını bu yüzden yeniden kuruyor: alt sınırı Delphi'nin en kısa değerinden, on haftadan alıyor; üst sınırı ise kendi içgüdüsünden değil, 10.6'daki referans sınıfının sekseninci yüzdeliğinden biraz yukarıdan. Yeni aralık on ile yirmi dört hafta; cebindeki nottakinden her iki uçta da belirgin biçimde geniş.

Hava durumu kalibrasyonun en tanıdık örneğidir. Bir tahminci "yarın yağmur olasılığı yüzde yetmiş" dediğinde, bunun anlamı, böyle dediği günlerin onda yedisinde yağmur yağmasıdır. Yalnız bir günde bunu sınamak mümkün değil; yağmur ya yağar ya yağmaz. Ama tahmincinin "yüzde yetmiş" dediği yüz günün kaçında yağdığına bakılırsa, onun yüzde yetmişinin gerçekten yüzde yetmiş olup olmadığı görülür. Bir proje yöneticisinin "yüzde doksan emin" olduğu aralıklar da tek tek değil, birikerek sınanır.

Perde arkası

Müfredat bu dersin dayanağı olarak Douglas Hubbard'ın ölçme üzerine kitabını gösteriyor; kitaba erişilemedi ve içeriğinden alıntı yapılmıyor. Kalibrasyonun ölçülmesi ve proje tahminindeki aşırı güven, yazılım tahmini üzerine bir dergi makalesinin yazar kopyasından doğrudan okundu; aşırı güvenin biçimleri ise bir psikoloji makalesinin özetinden.

Yaygın yanılgılar

İki sürüm

Akşamüstü, cebindeki not masanın üstünde; Ilgın onu yeniden yazıyor.

Zayıf sürüm

Süre: yüzde doksan güvenle 13–20 hafta.

Dayanak: uzman görüşü ve deneyim.

Not: aralık yeterince dar, planlama için uygun.

Güçlü sürüm

Süre: yüzde doksan güvenle on ile yirmi dört hafta; en olası on dört hafta civarı.

Alt sınırın dayanağı: Delphi'nin en kısa değeri; kapaktaki notun etkisi olabileceği için daha aşağıya güvenle inilemiyor.

Üst sınırın dayanağı: fabrikanın son altı düzenleme projesinin aşım dağılımı; sekseninci yüzdeliğin biraz üstü.

Neden bu kadar geniş: benim yüzde doksanım, on soruluk bir sınamada yüzde altmış çıktı. Önceki notumdaki aralık bu yüzden iki uçtan da açıldı.

Kalibrasyonu izleme: pilottaki her süre tahmininin aralığı kaydediliyor; pilot bittiğinde isabet oranım ilk kez gerçek bir projede ölçülecek.

Zayıf sürüm bir güven düzeyi veriyor ama o düzeyin hiç sınanmadığını saklıyor. "Yüzde doksan" ifadesi, Ilgın'ın on soruluk sınamasında yüzde altmış çıkan bir içgüdüye dayanıyor; Ayten Hanım bu aralığa, gerçekte hak ettiğinden fazla güvenecek. "Aralık yeterince dar" notu ise darlığı bir erdem gibi sunuyor; oysa darlık, ancak aralık tutuyorsa değerlidir. Güçlü sürüm aralığı genişletiyor ve her iki ucun dayanağını ayrı ayrı yazıyor: biri uzman görüşünden, biri fabrikanın kendi geçmişinden. Aralığın neden genişlediğini Ilgın'ın kendi kalibrasyon sonucuyla açıklıyor; bu, bir tahmincinin kendi aşırı güvenini kâğıda dökmesi. Son satır da kalibrasyonu bir kerelik bir sınama değil, sürekli bir ölçüm yapıyor.

Bağlam notu

Bir tahmin aralığının güven düzeyi, tahmin edenin kendisi hakkında verdiği bir bilgidir: ne kadar bildiğini ne kadar bildiğine dair. Bu bilgi de sınanabilir ve çoğu insanda, sınandığında, olduğundan iyimser çıkar. Kalibrasyon, bir proje yöneticisinin tahmin becerisinin en az konuşulan ama belki en önemli parçası; çünkü bir yönetim kurulu bir aralığa değil, o aralığın yanındaki yüzdeye güvenir.

Neyle bileceğiz sorusu, kalibrasyonda kendi cevabını taşır: birikmiş isabet oranıyla. Tek bir aralık tutsa da tutmasa da bir şey kanıtlamaz; on aralığın kaçının tuttuğu, yirmi aralığın kaçının, bir tahmincinin yüzde doksanının gerçekte ne anlama geldiğini gösterir. Pilotun tahmin kaydı bu yüzden bir sütun daha kazanıyor: her tahminin yanında, verildiği güven düzeyi; ve proje bittiğinde, gerçekleşen değerin aralığın içine düşüp düşmediği. Gönül Hanım'ın klasörü de aynı soruya başkalarının tahminlerinden cevap verecek; araştırmanın gösterdiği gibi, belki daha iyi bir cevap.

Uygulama

Retro sorusu

Pilot projende "eminim" dediğin son tahminin, gerçekleşen değeri içine alacak kadar geniş miydi?

Kapanış

1. Tahmin aralığı bir tahminin belirsizliğini bir güven düzeyiyle birlikte verir; aralığın değeri genişliğinde değil, belirttiği güven düzeyinin tutmasındadır.
2. Kalibrasyon, belirtilen güven düzeyi ile gerçekleşen isabet oranının uyumudur; insanlar tipik olarak aşırı kesindir ve yüzde doksan güvenle verdikleri aralıklar çok daha az isabet eder.
3. Kalibrasyon birikmiş isabet oranıyla ölçülür ve yalnız kendi hatalarına bakarak düzelmeyebilir; başkalarının tahminlerinin sonuçları, aynı ıskalamanın tekrarını daha açık gösterir.

Beş soru

1. Ilgın'ın on soruluk sınaması neden Ayten Hanım'a vereceği aralığı değiştirdi?
2. Tek bir tahmin aralığının tutup tutmaması neden bir tahmincinin kalibrasyonu hakkında az şey söyler?
3. Kendi tahminleri üzerine ders çıkarma oturumları neden gerçekçiliği artırmamış olabilir?
4. Bir taksi şoförü havalimanı yolculuklarında yolcularına "yüzde doksan ihtimalle kırk ile elli dakika" diyor. Son yirmi yolculukta on bir kez bu aralığın içinde kalmış. Şoför ne yapmalı?
5. Güçlü sürüm üst sınırı neden Ilgın'ın içgüdüsünden değil, referans sınıfından alıyor?

Yanıtlar

1. Çünkü Ilgın'ın yüzde doksan güvenle verdiği aralıkların yalnız onda altısı tuttu. Bu, onun "yüzde doksan emin" hissinin gerçekte yüzde altmış civarında bir güvenceye karşılık geldiğini gösteriyor. On üç ile yirmi haftalık aralık aynı içgüdüyle verilmişti; Ayten Hanım'a söylenen güvenceyi gerçekten taşıması için genişletilmesi gerekiyordu.
2. Çünkü yüzde doksanlık bir aralık bile onda bir ıskalar; tek bir ıskalama şanssızlık olabilir, tek bir isabet de şans. Kalibrasyon ancak çok sayıda aralığın kaçının tuttuğuna bakılarak ölçülür: ortalama güven düzeyi ile isabet oranı uzun vadede birbirine yaklaşmalıdır.
3. Çünkü insan kendi ıskalamasına bakarken çoğu zaman onun özel bir nedenini bulur ve onu bir istisna olarak açıklar. Ders çıkarma, bu durumda aşırı güveni azaltmak yerine onu açıklayan bir hikâye üretebilir. Başkalarının tahminlerinin sonuçlarına bakmak, aynı ıskalamanın tekrar tekrar yaşandığını savunmasız bir gözle gösterir.
4. On bir isabet yirmide, yüzde elli beş; şoförün yüzde doksanı gerçekte yarı yarıya. Aralığı genişletmeli; üst sınırı, kendi kaydındaki yirmi yolculuğun en uzunlarına bakarak yukarı almalı. Yolcularına "genellikle kırk ile elli, trafik varsa bir saat on" demek, daha az kesin görünür ama söylediğini yapar.
5. Çünkü Ilgın'ın kendi içgüdüsü, on soruluk sınamada aşırı kesin çıktı; üst sınırı yine aynı içgüdüyle belirlemek, aynı darlığı tekrarlamak olurdu. Referans sınıfı, fabrikanın başka projelerinde gerçekleşmiş aşımları taşıyor; bir başkasının tahminlerinin sonucu, araştırmanın da gösterdiği gibi, kendi içgüdüsünden daha iyi bir düzeltme kaynağı.

Sonraki derse köprü

Tam taşınmanın aralığı artık yazılı; ama Ilgın pilotun takvimine dönünce bir soru takılıyor. 10.3'te her faaliyete iyimser, olası ve kötümser bir değer verdi. Bütün iyimserleri toplamak ve bütün kötümserleri toplamak, gerçekleşmesi neredeyse imkânsız iki uç verir: hiçbir projede her şey aynı anda ters gitmez. Faaliyet aralıklarını bir proje aralığına nasıl çevirmeli? 10.9, basit bir takvimi rastgele örneklemeyle bir olasılık dağılımına çevirmeyi ele alıyor.