Çapa etkisi

Sahadan bir an

Salı sabahı, kalite ofisi. Ilgın masanın üstüne dört zarf koymuş: Delphi'nin iki turunda dört uzmana giden belgelerin kopyaları. Selma bir zarfı açmış, kapak sayfasına bakıyor.

Selma: Bu el yazısı Recep Bey'in mi? "Hedef: on hafta."

Ilgın: Taslak kapsamı ondan aldım, fotokopiyi kapağıyla birlikte çektim. Fark etmedim.

Selma: Dördü de gördü mü?

Ilgın: Dördüne de aynı kopya gitti. İkinci turun en kısa tahmini tam on hafta. Birinci turda dokuz ve on vardı; ikisi de ona yakın.

Selma: Belki gerçekten on hafta düşünüyorlardı.

Ilgın: Belki. Bunu bilmenin bir yolu yok artık. Kâğıtta yazan bir sayı, herkesin cevabının içine girmiş olabilir; ve kimse fark etmemiş olabilir.

Ilgın'ın Delphi'si uzmanları birbirinin etkisinden korumak için kurulmuştu; ama kimsenin konuşmadığı bir yerden, kapak sayfasından, bir sayı içeri sızdı. O sayı bir tahmin değil, bir hedefti: 10.1'deki ayrımla, bir iş hedefi. Uzmanlar ona bakarak bir şey hesaplamadılar belki; ama hesapladıkları şey, o sayının yakınında başladı. Selma'nın sorusu yerinde: on haftayı düşünenler gerçekten on hafta mı düşünüyordu, yoksa kapağı gördükleri için mi?

Kavram

Bir sayısal tahmin yapılırken, ortamda bir sayı varsa, tahmin çoğu zaman o sayıdan başlar.

Kapağın üstündeki "on hafta" böyle bir başlangıç değeri. Bir uzman tam taşınmanın parçalarını düşünürken, aklının bir köşesinde on hafta duruyor: depo rafları şu kadar sürer, hatlar bu kadar, toplam on haftaya yakın mı, biraz fazla mı? Bu soru, "toplam ne kadar" sorusundan başka bir sorudur ve cevabı on haftaya doğru çeker.

Yazılım projelerinde yapılmış bir deney bu etkiyi doğrudan ölçtü. Katılımcılara aynı sistemin gereksinim belgesi verildi ve iş saati tahmini istendi. Bir gruba müşterinin elli saat beklediği, bir gruba bin saat beklediği söylendi; bir gruba hiçbir şey söylenmedi. İki gruba da açıkça, müşterinin işin ayrıntısını bilmediği ve beklentisinin tahmini etkilememesi gerektiği yazıldı. Sonuç: profesyonel yazılımcıların ortanca tahmini, elli saat duyanlarda yetmiş yedi, bin saat duyanlarda altı yüz otuz iki, hiçbir şey duymayanlarda yüz yetmiş altı saatti. Yüksek çapa, ortanca tahmini düşük çapanın sekiz katına çıkarmıştı. Ve çoğu katılımcı, sonradan sorulduğunda, beklentinin tahminini etkilemediğini ya da az etkilediğini söyledi.

Bu deneyin iki dersi var. Birincisi, çapanın etkisi büyük olabilir; birkaç yüzde değil, kat kat. İkincisi, etkiyi bilmek ondan korumuyor: katılımcılara açıkça etkilenmemeleri söylendi ve yine etkilendiler, üstelik bunu fark etmediler. Bu yüzden çapaya karşı en etkili koruma bir uyarı değil, bir düzen: tahmini yapacak kişinin çapayı görmemesi.

Ilgın Delphi'yi bu gözle yeniden düşünüyor. İkinci turun on, on bir, on üç, on beşi kapaktan etkilenmiş olabilir; olmayabilir de. Ama bunun ölçülebileceği tek yer, çapayı görmemiş birinin tahmini. Ilgın iki şey yapıyor. Birincisi, 10.6'da dışarıdan bulduğu sayılara bakıyor: referans sınıfı kapağı görmedi; geçmiş projelerin oranları ortancada on beş hafta veriyordu. Delphi'nin on ikisi ile referans sınıfının on beşi arasındaki farkın bir kısmı, belki de kapakta. İkincisi, montaj hattı konusunda dışarıdan bir görüş için Halil Bey'in eski fabrikadan bir meslektaşına, kapaksız bir kapsam sayfası ve aynı soruyla yazıyor.

Kapağa yazılan hedef bir kötü niyet değildi. Recep Bey taslağı kendisi için okumuş ve hedefini kenara not etmişti. Çapalar çoğu zaman böyle sızar: bir e-postanın konu satırında, bir toplantının açılış cümlesinde, bir teklifin ilk sayfasında, bir önceki projenin dosyasında. Kimse onları tahmin olarak sunmaz; ama tahmin edenin gördüğü ilk sayı olurlar.

Bir banka bir evin değerini belirlemek için bir eksper gönderiyor. Dosyanın kapağında satıcının istediği fiyat yazıyorsa, çapa etkisinin öngördüğü şey açık: eksperin bulduğu değer o fiyata doğru çekilebilir, satıcının fiyatı yüksekse yukarı, düşükse aşağı. Bu yüzden dikkatli bir banka, eksperi göndermeden önce dosyadan satıcının fiyatını çıkarır. Eksper evi, satıcının ne istediğini bilmeden değerlendirir.

Perde arkası

Çapadan ayarlama kavramı, karar psikolojisinin temel metinlerinden birinde, 1974'te tanımlandı; bu metnin özeti okundu. Yazılım tahmininde çapa deneyi ise yazarların kurumunun yayımladığı yazar kopyasından doğrudan okundu.

Deneyin bir ayrıntısı Ilgın'ın durumuna özellikle uyuyor. Katılımcılara aşağıdan yukarı bir yöntem verilmişti: önce faaliyetleri listele, sonra her birini tahmin et, sonra topla. Çapa, bu ayrıntılı yönteme rağmen etkili oldu. Ayrıntı çapayı silmiyor; çapa ayrıntının içine sızıyor.

Yaygın yanılgılar

İki sürüm

Öğleden sonra Ilgın, tahmin süreci için ekibe bir kural notu yazıyor.

Zayıf sürüm

Kural: tahmin yaparken hedef tarihlerden etkilenmeyin.

Not: Recep Bey'in hedefi on hafta; ama siz kendi tahmininizi yapın.

Teslim: cuma.

Güçlü sürüm

Kural 1: tahmine giden belgede hiçbir hedef, söz, eski tahmin ya da bütçe rakamı bulunmaz. Kapaklar, konu satırları ve dosya adları da buna dahil.

Kural 2: tahmin istenen kişiye, tahmini verene kadar hedef söylenmez. Hedef, tahminler toplandıktan sonra yan yana konur.

Kural 3: tahmini istemeden önce belgeyi bir başkası, tahmine katılmayacak biri, sayı açısından tarar.

Delphi için: ikinci turun belgelerinde kapakta bir hedef vardı. Sonuç çapadan etkilenmiş olabilir; referans sınıfının on beş haftası bu yüzden ayrıca dikkate alınıyor. Montaj hattı için kapaksız bir sayfayla dış bir görüş istendi.

Kayıt: her tahminin yanına, tahmin anında tahmin edenin hangi sayıları gördüğü not edilir.

Zayıf sürüm çapayı bir irade sorununa çeviriyor: "etkilenmeyin". Deney bu talimatın işe yaramadığını gösterdi; katılımcılara aynı şey söylenmiş ve etkilenmişlerdi. Daha kötüsü, zayıf sürüm çapayı uyarının kendisinde veriyor: "Recep Bey'in hedefi on hafta" cümlesi, okuyan her uzmanın gözünün önüne on haftayı koyuyor. Güçlü sürüm koruma işini tahmin edenden alıp sürece veriyor. Belgenin çapadan arındırılmasını, hedefin tahmin toplanana kadar saklanmasını ve belgenin bir başkası tarafından taranmasını kural yapıyor. Delphi'deki sızıntıyı açıkça kayda geçiriyor ve sonucunun nasıl düzeltildiğini söylüyor. Son satır da her tahminin hangi koşulda yapıldığını izlenebilir kılıyor; çapanın sızdığı bir tahmin sonradan fark edilebiliyor.

Bağlam notu

Çapa etkisi, tahmin sürecinin en sessiz tehdididir. İyimserlik bir tahmin edenin kendinden gelir ve bir ölçüde fark edilebilir; stratejik yanlış beyan bir çıkardan gelir ve bir ölçüde sorgulanabilir. Çapa ise ortamdan gelir: bir kapaktan, bir e-postadan, bir toplantının açılış cümlesinden. Kimse onu tahmin olarak sunmaz, kimse onu tahmin olarak almaz; ama gelen tahmin onun yakınındadır.

Belirsizlik nerede sorusu çapayla birlikte yeni bir yere kayıyor: tahminin kendisinden tahminin koşullarına. Ilgın Delphi'nin iki turunun sonucunu biliyor; ama o sonucun ne kadarının uzmanların bilgisinden, ne kadarının kapaktaki sayıdan geldiğini bilmiyor ve artık bilemez. Bu belirsizliği gidermenin tek yolu, bir sonraki tahminde koşulları baştan temiz kurmak ve her tahminin yanına koşulunu yazmak. 10.4'te başlattığı tahmin kaydına bir sütun daha ekleniyor: tahmin anında görülen sayılar.

Uygulama

Retro sorusu

Pilot projende bir tahmin istediğin son mesajda, karşındakinin gözüne ilk çarpan sayı ne idi?

Kapanış

1. Sayısal bir tahmin, ortamda bir sayı varsa çoğu zaman ondan başlar ve ona yakın kalır; düzeltme genellikle yetersizdir ve etki kat kat büyük olabilir.
2. Çapanın etkisini bilmek ya da ondan etkilenmeme talimatı almak korumaz; deneyde katılımcılar uyarıldıkları hâlde etkilendi ve bunu fark etmedi.
3. Güvenilir koruma süreçtedir: tahmine giden belgeden hedefleri ve eski sayıları çıkarmak, hedefi tahmin toplanana kadar saklamak ve her tahminin hangi sayılar görülerek yapıldığını kaydetmek.

Beş soru

1. Delphi uzmanları birbirinin etkisinden koruyordu; çapa yine de nasıl içeri girdi?
2. Deneyde katılımcılara müşteri beklentisinin geçersiz olduğu söylenmesine rağmen tahminler neden değişti?
3. Ilgın Delphi'nin sonucunu neden tümüyle atmadı?
4. Bir öğretmen bir öğrencinin sınav kâğıdını okumadan önce, önceki dönem notlarının yazılı olduğu bir listeye bakıyor. Bu durumda çapa nedir, neyi etkileyebilir ve okul bu etkiden nasıl korunabilir?
5. Zayıf sürümdeki "Recep Bey'in hedefi on hafta; ama siz kendi tahmininizi yapın" cümlesinin sorunu nedir?

Yanıtlar

1. Uzmanların konuşmadığı bir yerden: belgenin kapağından. Delphi uzmanların birbirinin sayısını görmesini engelliyordu, ama hepsine giden kopyada Recep Bey'in "Hedef: on hafta" notu vardı. Bu not bir tahmin değil bir hedefti; ama tahminden önce görülen bir sayı olarak dördünün de gözünün önündeydi.
2. Çünkü çapa etkisi bir bilgi sorunu değil, bir zihinsel kestirme. Katılımcılar sayının geçersiz olduğunu biliyordu, ama tahmini yaparken o sayıdan başlayıp ayarlama yaptılar ve ayarlama yetersiz kaldı. Üstelik çoğu, sonradan sorulduğunda etkiyi fark etmediğini söyledi.
3. Çünkü çapanın sonucu ne kadar etkilediğini bilmiyor; ikinci turun dört sayısı gerçekten uzmanların bilgisinden gelmiş de olabilir. Delphi'nin gerekçeleri, rafların gece taşınabileceği ve hatların iki kez sökülebileceği, kapaktan bağımsız bilgilerdi. Ilgın sonucu atmıyor, ama ona daha az güveniyor ve çapayı görmemiş kaynaklarla, referans sınıfı ve kapaksız bir dış görüşle, sınıyor.
4. Çapa, önceki dönem notları. Öğretmenin bu kâğıda vereceği notu, o notlara doğru çekebilir: iyi notlu bir öğrencinin orta bir kâğıdı daha yüksek, düşük notlu birinin iyi bir kâğıdı daha düşük okunabilir. Okul, kâğıtları önceki notlar görülmeden, mümkünse öğrencinin adı kapatılarak okutarak korunabilir; öğretmene "etkilenme" demek yetmez.
5. Uyarının kendisi çapayı veriyor. Cümleyi okuyan her uzmanın aklına önce on hafta giriyor; ardından gelen "kendi tahmininizi yapın" talimatı, deneyde de görüldüğü gibi, etkiyi silmiyor. Çapadan korumak için sayıyı tahmin edenden saklamak gerekir; ona söyleyip etkilenmemesini istemek değil.

Sonraki derse köprü

Ilgın tam taşınma notunu yeniden yazarken Ayten Hanım'a artık tek bir sayı vermemeye karar veriyor: "Yüzde doksan emin olduğum aralık on üç ile yirmi hafta." Ama bir soru takılıyor: geçmişte "yüzde doksan emin" olduğu aralıkların gerçekten onda dokuzunun içine gerçekleşen değer düştü mü? 10.8, tek sayı yerine güven aralığı vermeyi ve kendi kalibrasyonunu sınamayı ele alıyor.