Uzman mı, formül mü?

Bir an

Dört görüşme bitti. İK uzmanının defterinde her aday için birkaç cümle var: birinci aday "enerjik, müşteriyle konuşmayı seviyor", ikinci aday "biraz çekingen, ama derli toplu", üçüncü aday "çok iyi bir izlenim bıraktı", dördüncü aday "fazla mekanik konuşuyor". Bu notlara bakınca sıralama ona açık görünüyor: üçüncü, birinci, ikinci, dördüncü.

Selin aynı dört adayı kendi tablosuyla sıralamış. Tabloda üç sütun var: sektörde kaç yıl çalıştıkları, önceki işlerindeki yıllık satış hedeflerini ne ölçüde tuttukları ve görüşmenin sonundaki on dakikalık rol oyununda aldıkları puan. Selin üç sütunu eşit ağırlıkla toplayıp sıralamış: ikinci, birinci, dördüncü, üçüncü.

İK uzmanı tabloya kuşkuyla bakıyor. "Bir insanı üç sayıya indiremezsin. Görüşmede gördüğüm şeyleri bu tablo görmüyor." Selin buna itiraz etmiyor, ama bir soru soruyor: gördüğün o şeyler, adayın bir yıl sonra ne kadar satış yapacağını ne kadar iyi tahmin ediyor?

Soru

Aynı bilgiler eldeyken, bir uzmanın kendi kanaatiyle mi, yoksa sabit bir kuralla mı bu bilgileri birleştirmek daha isabetli sonuç verir? Bu, uzmanı gereksiz kılar mı?

Nasıl işler

İK uzmanı ile Selin aynı adaylara bakıyor ve büyük ölçüde aynı bilgilere sahip. Fark, bilgileri nasıl birleştirdiklerinde. İK uzmanı izlenimlerini kafasında tartıp bir yargıya varıyor; Selin üç bilgiyi önceden belirlenmiş bir kuralla topluyor.

Bu iki kavramı karşılaştırırken bir ayrım önemlidir. Bir tahmin iki adımdan oluşur: bilgiyi toplamak ve bilgiyi birleştirmek. Görüşme yapmak, rol oyununu izleyip puanlamak, önceki işverenle konuşmak birinci adımdır ve bunları bir insan yapar. Tartışma, ikinci adımla ilgilidir.

Selin'in tablosundaki rol oyunu puanı, bir insanın gözlemine dayanır. Tablo, İK uzmanını ortadan kaldırmaz; onun gözlemini, öbür bilgilerle birlikte sabit bir biçimde birleştirir.

Kanıt

Bu karşılaştırmanın uzun bir geçmişi vardır.

İşe alım ve okula kabul kararlarında aynı karşılaştırma ayrıca yapıldı.

Nerede çöker

Mekanik tahminin üstünlüğü, kuralın iyi kurulmuş olmasına bağlıdır. Selin'in tablosu, satış başarısıyla gerçekten ilişkili bilgileri içeriyorsa iyi çalışır. İlişkisiz bilgilerle kurulmuş bir kural, ne kadar tutarlı uygulanırsa uygulansın, yanlış sonucu tutarlı biçimde verir.

Kural, öngörmediği durumları da tanımaz. Bir aday görüşmeden bir gün önce ciddi bir kaza geçirmiş ve bu yüzden rol oyununda kötü bir puan almışsa, tablo bunu bilmez; bir insan bilir. Böyle durumlar gerçektir. Ama kuralı çiğneme yetkisi, ancak gerçek istisnalarla sınırlı kalırsa işe yarar; her aday için bir istisna bulunursa, kural fiilen ortadan kalkar ve geriye yeniden bütüncül değerlendirme kalır.

Üçüncü bir sınır, ölçütün kendisidir. Kuncel ve arkadaşlarının meta-analizinde ölçütler terfi, amir değerlendirmesi ve eğitim performansıdır. Bir şirket bir çalışanda bunların dışında bir şey arıyorsa, örneğin ekip içinde güven yaratan biri, o şeyi kurala koymak zordur. Kural, ölçülebilen şeyi tahmin eder; ölçülmeyen şeyi görmez.

Yaygın yanılgılar

Sayılarla

Benzetimin dikkat çekici sonucu şudur: uzman gerçek ağırlıkları biliyordu, tablo bilmiyordu. Yine de tablo öne geçti. Bunun nedeni, uzmanın bilgisinin değil tutarlılığının eksik olmasıdır. Aynı bilgilere bakan bir kural her adaya aynı şeyi yapar; bir insan ise her adaya biraz farklı davranır. Bu farkın adı, bir sonraki dersin konusu olacak.

Grove ve arkadaşlarının yüzde 10'luk ortalama farkı küçük görünebilir. Ama bir şirketin yılda onlarca kişiyi işe aldığı düşünülürse, bu fark her yıl birkaç yanlış alımı önlemek demektir. Kuncel ve arkadaşlarının iş performansı için bulduğu yüzde 50'nin üzerindeki iyileşme ise daha da büyüktür.

Herkes için aynı mı?

Bütüncül değerlendirme, değerlendiricinin kendine benzeyen adayları kayırmasına daha açık bir kapı bırakır. "Enerjik", "iyi bir izlenim bıraktı" gibi notlar çoğu zaman adayın değerlendiriciye ne kadar tanıdık geldiğini yansıtır: aynı okuldan, aynı şehirden, aynı konuşma biçiminden. Sabit bir kural, bu tanıdıklık duygusunu tamamen silmez, ama ona yer bırakmayan bir yapı kurar. Bu çıkarımı Grove ve arkadaşlarının ya da Kuncel ve arkadaşlarının özetleri ayrıca ölçmüyor; ama işe alımda adaletle ilgili bir tartışmanın neden kurallara yöneldiğini açıklar.

Öte yandan kural da kimin lehine kurulduğuna göre adaletsiz olabilir. Selin'in tablosundaki "sektörde kaç yıl çalıştı" sütunu, sektöre yeni giren, örneğin uzun bir aradan sonra işe dönen birini dezavantajlı kılar. Bir kuralın tutarlı olması, adil olduğu anlamına gelmez; kuralın içine hangi ölçütlerin konduğu ayrıca sorgulanmalıdır.

Kendi hayatında

Hüseyin Bey dükkânına yeni bir tezgâhtar arıyor. Şimdiye kadar hep kendi kanaatiyle seçmişti: adayla biraz sohbet eder, içine sinip sinmediğine bakardı. Bu kez Selin'in önerisiyle üç şeyi yazıyor: adayın daha önce perakendede çalışıp çalışmadığı, bir müşteriye bir ürünü anlatmasının bir dakikalık bir denemede nasıl gittiği ve önceki işverenin tek cümlelik görüşü. Her birine bir puan verip topluyor.

Sohbet yine yapılıyor; ama sohbetten çıkan izlenim, artık üç puandan biri olan "anlatma denemesi"nin içinde, sınırlı bir ağırlıkla yer alıyor. Hüseyin Bey ilk kez, en çok sevdiği aday ile tablonun birinci sıraya koyduğu adayın farklı olduğunu görüyor.

Birkaç kararın sonunda, kanaatinin mi yoksa puan toplamının mı daha sık doğru çıktığını hesapla.

Kapanış

1. Klinik tahmin bilgileri uzmanın kanaatiyle, mekanik tahmin sabit bir kuralla birleştirir; karşılaştırma çalışmaları bilginin toplanmasını değil birleştirilmesini sınar.
2. Grove ve arkadaşlarının meta-analizinde mekanik tahmin ortalamada yaklaşık yüzde 10 daha isabetliydi ve klinik tahmin yalnız yüzde 6 ile yüzde 16 arasındaki çalışmalarda belirgin biçimde üstündü; Kuncel ve arkadaşları işe alımda bütüncül birleştirmenin, işi bilen uzmanlarda bile belirgin bir geçerlilik kaybı yarattığını buldu.
3. Bu, uzmanı gereksiz kılmaz: uzman bilgiyi toplar ve kuralı kurar; kural iyi kurulmadığında ya da gerçek bir istisnayla karşılaştığında insan yargısı yine gerekir.

Beş soru

1. Klinik tahmin ile mekanik tahmin arasındaki fark nedir?
2. Grove ve arkadaşlarının meta-analizine göre mekanik tahmin ortalamada ne kadar daha isabetliydi ve klinik tahmin hangi oranda çalışmada belirgin biçimde üstündü?
3. Kuncel ve arkadaşları işe alım kararları hakkında ne buldu?
4. Benzetimde gerçek ağırlıkları bilen uzman neden eşit ağırlıklı tablonun gerisinde kaldı?
5. Mekanik tahminin üstünlüğü uzmanı neden gereksiz kılmaz?

Yanıtlar

Klinik tahmin, uzmanın eldeki bilgileri kendi kanaatiyle, gayriresmî biçimde tartarak bir yargıya varmasıdır. Mekanik tahmin ise aynı bilgileri önceden belirlenmiş sabit bir kuralla, her durumda aynı biçimde birleştirir. İkisi de aynı bilgileri kullanabilir; fark, birleştirme biçimindedir.

Mekanik tahmin ortalamada yaklaşık yüzde 10 daha isabetliydi ve analize göre çalışmaların yüzde 33 ile yüzde 47'sinde klinik tahmini belirgin biçimde geçti. Klinik tahmin ise yalnız yüzde 6 ile yüzde 16'sında belirgin biçimde daha isabetliydi.

Veriler bütüncül biçimde birleştirildiğinde, işi ve kuruluşu bilen uzmanlar tarafından yapıldığında bile, iş ve okul ortamında birden çok ölçütte tutarlı ve belirgin bir geçerlilik kaybı görüldü. İş performansını tahmin etmede iki yöntem arasındaki fark, tahminde yüzde 50'den fazla bir iyileşmeye karşılık geliyordu.

Uzman gerçek ağırlıkları biliyordu, ama her adaya satışla ilgisi olmayan bir izlenim payı ekliyordu. Tablo ağırlıkları bilmese de her adaya aynı biçimde davranıyordu. Tutarlılık, bilgideki küçük bir eksikten daha değerli çıktı.

Uzman, bilgiyi toplayan, örneğin görüşmeyi yapan ve rol oyununu puanlayan kişidir; hangi bilgilerin önemli olduğunu belirleyip kuralı kuran da odur. Kural ayrıca öngörmediği gerçek istisnaları tanımaz; bunları görmek için insan yargısı gerekir.

Sonraki derse köprü

Selin dört adayın puan kâğıtlarını incelerken bir şey fark ediyor. Rol oyununu hem İK uzmanı hem Tuğba izlemiş ve puanlamış; aynı adaya biri on üzerinden dört, öbürü sekiz vermiş. Daha da şaşırtıcısı, İK uzmanı sabah görüştüğü adaylara öğleden sonrakilerden belirgin biçimde daha yüksek puanlar vermiş. Kimse yanlı değil; ama aynı aday, kimin baktığına ve günün hangi saatinde bakıldığına göre farklı bir puan alıyor. 10.3, Gürültü dersi, aynı duruma verilen yargıların kişiden kişiye ve günden güne saçılmasını ve bunun yanlılıktan nasıl ayrıldığını ele alıyor.