Kusurlu ama dürüst modeller

Bir an

Selin'in hazırladığı kâğıt tek sayfa. Rol oyununu izleyen her değerlendirici beş soruya evet ya da hayır diyecek. Aday müşterinin ne istediğini sordu mu? Ürünün üç özelliğini doğru anlattı mı? Müşterinin itirazını sözünü kesmeden dinledi mi? Fiyatı açıkça söyledi mi? Görüşmenin sonunda bir sonraki adımı önerdi mi? Adayın puanı, evetlerin sayısı.

İK uzmanı kâğıdı okuyup başını sallıyor: "Bu çok kaba. Fiyatı söylemekle müşteriyi dinlemek aynı ağırlıkta olamaz. Bir adayın beş maddeden dördünü yapıp asıl önemlisini kaçırması ile bir başkasının dördünü kaçırıp en önemlisini yapması aynı mı?" İtirazı makul. Maddelerin önemi gerçekten eşit değil.

Selin buna karşı bir şey iddia etmiyor. Yalnız, doğru ağırlıkları kimin bildiğini soruyor. İK uzmanı bir an düşünüp itiraf ediyor: kesin bilmiyor, sadece hissediyor. Selin'in sorusu basit: eşit ağırlık yanlış olabilir, ama hissedilen ağırlıktan daha mı yanlış?

Soru

Maddelere eşit ağırlık veren, açıkça kusurlu bir kontrol listesi, uzmanın sezgisel yargısını neden çoğu zaman geçebilir? Bu sonuç hangi koşullarda tutmaz?

Nasıl işler

Bir tahmin için birkaç bilgiyi birleştirmenin "doğru" yolu, her bilgiye ölçütle ilişkisine göre ağırlık vermektir. İstatistikte bunu yapan modeller vardır, ama doğru ağırlıklar ancak geçmiş veriden tahmin edilebilir. Veri azsa ya da hiç yoksa, ağırlıklar ya tahmin edilir ya da sezgiyle verilir.

Bu modellerin en basiti, her bilgiye aynı ağırlığı vermektir.

Birim ağırlığın şaşırtıcı başarısı, gerçek hayattaki bilgilerin çoğu zaman birbiriyle ilişkili olmasından gelir: müşteriyi iyi dinleyen aday çoğu zaman bir sonraki adımı da önerir. Bilgiler birbirine benziyorsa, ağırlıkların tam doğru olup olmaması toplamı pek değiştirmez. Buna bir de tutarlılık eklenir: sayım her adaya aynı biçimde uygulanır ve 10.3'teki gürültü toplamın içine giremez.

Bu bilgi birleştirme yaklaşımının yakın bir akrabası da kontrol listesidir.

Kanıt

Kontrol listelerinin gerçek hayattaki etkisine dair en çok alıntılanan çalışma, ameliyathanelerden gelir.

Aynı tür kontrol listesinin zorunlu kılındığı bir bölgede sonuçlar farklıydı.

Nerede çöker

Dawes'un iddiası belirli bir durumla sınırlıdır: sayısal bir ölçütü sayısal bilgilerden tahmin etmek. Bilgilerin yönü belirsizse, yani bir bilginin ölçütle olumlu mu olumsuz mu ilişkili olduğu bilinmiyorsa, birim ağırlık yanlış yöne de ağırlık verebilir. Birim ağırlığın sağlamlığı, en azından hangi bilginin "iyi" hangisinin "kötü" olduğunu bilmeyi gerektirir.

Bilgiler birbiriyle ilişkisizse ve biri öbürlerinden çok daha önemliyse, birim ağırlık da kaybeder. 8.5'teki benzetimde, ölçütlerden birinin baskın olduğu ortamda en iyisini al kuralı eşit ağırlıklı saymayı belirgin biçimde geçmişti. Birim ağırlık, bilgilerin önemleri birbirine yakın ya da bilgiler birbirine benzer olduğunda en güçlüdür.

Kontrol listesi tarafında ise iki çalışmanın çelişkisi dersin en önemli uyarısını taşır. Bir kontrol listesinin etkisi, listenin kendisinden çok, nasıl uygulandığına bağlı olabilir. Gönüllü bir pilot programda, ekiplerin listeyi gerçekten benimsediği hastanelerde görülen etki, aynı listenin bir yönetmelikle bütün hastanelere zorunlu kılındığı bir bölgede görülmeyebilir. Liste kâğıt üzerinde işaretlenip gerçekte uygulanmıyorsa, tutarlılık sağlamaz; yalnız tutarlılık görüntüsü sağlar.

Yaygın yanılgılar

Sayılarla

Hesabın asıl dersi şuradadır: yüzde 5'lik kayıp, doğru ağırlıkların tam olarak bilindiği varsayımına göredir. Gerçekte doğru ağırlıkları bilen kimse yoktur. Ağırlıklar ya küçük bir veriden tahmin edilir, ki 8.5'te gördüğümüz gibi bu tahmin gürültülüdür, ya da İK uzmanının yaptığı gibi hissedilir ve her adaya biraz farklı uygulanır. Bu iki gerçek alternatiften biriyle karşılaştırıldığında, birim ağırlığın yüzde 5'lik teorik kaybı çoğu zaman ortadan kalkar.

Ameliyat çalışmalarının sayıları ise başka bir şeyi gösterir. Pilot çalışmada ölüm oranı yaklaşık yarıya indi; Ontario'da yüzde 0,71'den yüzde 0,65'e indi, ama bu fark şansla açıklanabilir düzeydeydi. Aynı tür bir liste, iki farklı uygulama biçiminde, çok farklı büyüklükte etkiler gösterdi.

Herkes için aynı mı?

Birim ağırlıklı bir liste, değerlendirilen herkese aynı soruları sorar ve bu, değerlendiricinin tanıdıklık duygusuna daha az yer bırakır. 10.2'de gördüğümüz gibi, bütüncül değerlendirmelerde değerlendiriciye benzeyen adaylar kayrılabilir. Beş kapalı uçlu soru bu kapıyı tamamen kapatmaz, çünkü her sorunun cevabı yine bir insanın gözlemine dayanır; ama izlenimin etkisini tek tek maddelere böler ve sınırlar.

Kontrol listelerinin uygulanması ise kimin işini zorlaştırdığına göre farklı karşılanır. Ontario çalışmasının gösterdiği zorunlu uygulama, listeyi bir yük olarak gören ekiplerde kâğıt üstünde kalabilir. Bir listenin işe yaraması, onu uygulayanların listeyi kendi işlerinin bir parçası olarak görmesine bağlıdır. Bu son çıkarım bizim yorumumuzdur; Urbach ve arkadaşlarının özeti listenin neden etkisiz kaldığını ölçmez.

Kendi hayatında

Saniye Hanım apartmanın çatısı için üç ustadan teklif aldı. Her seferinde, en çok güvendiği ustayı seçmişti ve geçen yılki usta işi yarım bırakmıştı. Bu kez beş soru yazıyor: yazılı bir fiyat verdi mi, bitiş tarihi söyledi mi, daha önce yaptığı bir işi gösterdi mi, garanti süresi belirtti mi, ödemeyi işin aşamalarına bölmeyi kabul etti mi? Her evet bir puan.

Saniye Hanım'ın en çok sevdiği usta üç puan alıyor, hiç tanımadığı bir usta beş. Liste kararı kendiliğinden vermiyor; ama Saniye Hanım ilk kez, en sevdiği ustanın neden en iyi olmadığını kâğıt üzerinde görüyor.

Seçimin sonucunu öğrendiğinde, hangi sıralamanın daha isabetli çıktığını kaydet.

Kapanış

1. Uygunsuz doğrusal modeller, bilgileri en iyi olmayan ağırlıklarla, örneğin eşit olarak birleştirir; Dawes, bu modellerin bile sayısal bir ölçütü tahmin ederken klinik sezgiyi geçtiğini savundu.
2. Birim ağırlığın sağlamlığı, bilgilerin birbiriyle ilişkili olmasından ve her duruma aynı biçimde uygulanmasından gelir; örnek hesapta eşit ağırlık, doğru ağırlıkların geçerliliğinin yaklaşık yüzde 95'ini korudu.
3. Kontrol listelerinin etkisi uygulamaya bağlıdır: sekiz hastanelik pilot çalışmada ameliyat ölümleri yüzde 1,5'ten yüzde 0,8'e inerken, Ontario'da 101 hastanede zorunlu uygulamadan sonra anlamlı bir azalma görülmedi.

Beş soru

1. Uygunsuz doğrusal model nedir ve "uygunsuz" sözcüğü neyi kabul eder?
2. Birim ağırlık neden doğru ağırlıklara bu kadar yakın sonuç verebilir?
3. Dawes, birim ağırlığın uygulandığı hangi somut örneği ayrıntılı tartışır?
4. Haynes ve arkadaşları ile Urbach ve arkadaşlarının ameliyat kontrol listesi çalışmaları neden farklı sonuçlara varmış olabilir?
5. Birim ağırlık hangi koşullarda kaybeder?

Yanıtlar

Uygunsuz doğrusal model, bilgileri toplayan ama ağırlıklarını en iyi yöntemle değil, sezgiyle, kabaca ya da eşit olarak belirleyen bir modeldir. "Uygunsuz" sözcüğü, modelin doğru ağırlıkları bilmediğini açıkça kabul eder.

Gerçek hayattaki bilgiler çoğu zaman birbiriyle ilişkilidir; bu durumda ağırlıkların tam doğru olup olmaması toplamı pek değiştirmez. Ayrıca birim ağırlık her duruma aynı biçimde uygulanır ve değerlendiricinin tutarsızlığından doğan gürültü toplamın içine girmez. Örnek hesapta eşit ağırlık, doğru ağırlıkların geçerliliğinin yaklaşık yüzde 95'ini korudu.

Denver Polis Departmanı'nın hangi mermiyi kullanacağına karar vermek için birim ağırlıkların nasıl uygulandığını ayrıntılı tartışır.

Haynes ve arkadaşlarının çalışması, programa gönüllü katılan sekiz hastanede öncesi ve sonrası karşılaştırmasıydı; aynı dönemdeki başka iyileştirmeler ve ekiplerin listeyi gerçekten benimsemesi etkili olmuş olabilir. Urbach ve arkadaşlarının çalışması ise listenin 101 hastanede zorunlu kılındığı bir doğal deneydi; liste bazı yerlerde kâğıt üstünde kalmış olabilir.

Bir bilginin ölçütle ilişkisinin yönü bilinmiyorsa birim ağırlık yanlış yöne ağırlık verebilir. Bilgiler birbiriyle ilişkisizse ve biri öbürlerinden çok daha önemliyse, eşit ağırlık o baskın bilgiyi hafife alır ve 8.5'teki gibi baskın bilgiye dayanan bir kurala kaybeder.

Sonraki derse köprü

Kontrol listesi kabul ediliyor ve satış elemanı seçiliyor. Cuma öğleden sonra çay ocağında Rıza Usta masaya yeni gelen bir çelik blok koyuyor ve herkesten ağırlığını tahmin edip bir kâğıda yazmasını istiyor. Tahminler on iki kilodan kırk kiloya kadar dağılıyor. Blok tartıldığında kimsenin tahmini tam tutmuyor; ama Selin bütün tahminlerin ortalamasını aldığında sonuç gerçek ağırlığa çok yakın çıkıyor. Bu bir rastlantı mı? 10.5, Kalabalığın bilgeliği dersi, bağımsız tahminlerin ortalamasının neden isabetli olabildiğini ve sosyal etki girince bu etkinin nasıl bozulduğunu ele alıyor.