Gürültü

Bir an

Selin dört adayın rol oyunu puanlarını iki sütun hâlinde yan yana yazıyor. İK uzmanı adaylara on üzerinden dört, altı, beş ve yedi vermiş; Tuğba aynı dört adaya sekiz, yedi, altı ve dokuz. İkisi de aynı on dakikalık rol oyununu, aynı odada, aynı anda izlemiş.

Sıralama neredeyse aynı: ikisine göre de dördüncü aday en iyisi. Ama Tuğba her adaya ortalama iki puan daha fazla vermiş. Bir de İK uzmanının kendi puanlarında bir örüntü var: sabah görüştüğü iki aday altı ve yedi, öğleden sonrakiler dört ve beş almış; ortalamalar altı buçuk ile dört buçuk. Adaylar rastgele sıraya konmuştu.

Selin bunu İK uzmanına gösterdiğinde aldığı cevap şu: "Ben kimseye haksızlık etmedim. Her adaya içimden geleni verdim." Selin buna inanıyor. Kimse kasıtlı olarak yanlı davranmamış. Yine de bir adayın puanı, onu kimin ve günün hangi saatinde izlediğiyle oynuyor.

Soru

Aynı duruma bakan iki kişinin ya da aynı kişinin iki farklı anda farklı yargılara varması neden önemlidir? Bu saçılma, bir yönde kayma olan yanlılıktan nasıl ayrılır?

Nasıl işler

Bir yargının iki ayrı türde hatası olabilir. Birincisi, yargıların hep aynı yöne kaymasıdır: Tuğba'nın her adaya ortalama iki puan fazla vermesi gibi. İkincisi, yargıların bir yöne kaymadan, gelişigüzel saçılmasıdır: aynı adayın bir değerlendiricide dört, öbüründe sekiz alması, ya da aynı kişinin sabah ve öğleden sonra farklı puanlar vermesi.

Gürültünün iki biçimi bu derste öne çıkar.

Gürültü sinsidir, çünkü tek bir yargıya bakarak görülmez. Her bir puan kendi başına makul görünür. Gürültü, ancak aynı durumlar için birden çok yargı yan yana konduğunda görünür hâle gelir. Selin'in iki sütunu yaptığı şey budur.

Kanıt

Durum gürültüsüne dair en ünlü bulgu ise tartışmalıdır.

Nerede çöker

Gürültüyü ölçmek, aynı durumun birden çok kez yargılanmasını gerektirir. Gerçek hayatta bu çoğu zaman mümkün değildir: bir aday bir kez görüşülür, bir dava bir kez karara bağlanır. Sığınma çalışmasında olduğu gibi büyük veri kümeleri, benzer durumları karşılaştırarak gürültüyü dolaylı biçimde tahmin eder; ama davaların gerçekten benzer olup olmadığı her zaman tartışmaya açıktır.

Aç yargıç örneği, gürültü iddialarının da kendi yapaylıklarını taşıyabileceğini gösterir. Bir örüntü, ilgisiz bir etkenin yargıyı oynattığı izlenimi verebilir, ama aynı örüntü tamamen ussal bir davranıştan da doğabilir. İK uzmanının sabah ve öğleden sonra puanları arasındaki farkın da başka bir açıklaması olabilir: belki sabah adayları gerçekten daha iyiydi ve rastgele sıralama küçük bir örneklemde bunu dengelememişti. Dört adaylık bir örneklemde iki puanlık bir fark, bir örüntüden çok bir uyarı işaretidir.

Gürültünün kendisi de her zaman istenmeyen bir şey değildir. Bir resim yarışmasında ya da bir yaratıcı fikir değerlendirmesinde farklı yargıçların farklı şeyleri beğenmesi doğaldır, hatta değerlidir. Gürültü, yalnız aynı duruma aynı yargının verilmesi gereken yerlerde, örneğin işe alımda, sigorta primlerinde ya da yargı kararlarında bir sorundur.

Yaygın yanılgılar

Sayılarla

Selin'in iki sütunu da bu ayrımla okunabilir. İK uzmanının ortalaması 5,5, Tuğba'nınki 7,5'tir; iki değerlendirici arasındaki fark ortalama 2 puandır. Bu fark düzey gürültüsüdür: hangi değerlendiricinin hangi adayı puanladığına göre adayın puanı iki puan oynar. İki değerlendiricinin sıralamaları ise neredeyse aynıdır. Gürültü sıralamayı değil, puanın kendisini bozmuştur; puan bir eşikle karşılaştırılacaksa, örneğin altıdan düşük alanlar elenecekse, kimin puanladığı bir adayın kaderini belirler.

Sığınma çalışmasının sayıları ise gürültünün büyüklüğünü gösterir. Aynı binada, aynı ülkeden gelen başvuranlar için bir yargıçta yüzde 5, öbüründe yüzde 88'lik bir kabul oranı, bir başvuranın kaderinin bir dosyanın hangi yargıca verildiğine ne kadar bağlı olabileceğini sayıya döker.

Herkes için aynı mı?

Gürültünün bedeli en ağır, yargının sonucunu değiştiremeyecek olanların üzerine düşer. Bir sığınma başvurusunda kararın hangi yargıca düştüğüne bağlı olması, başvuranın hayatını belirleyebilir. Ramji-Nogales ve arkadaşlarının çalışması, ayrıca başvuranın hukuki temsilcisi olup olmamasının ve yargıcın cinsiyetinin ve atanmadan önceki iş deneyiminin kazanma şansını güçlü biçimde etkilediğini bildirir. Gürültü, kaynağı rastlantı olsa bile, avukat tutamayan biri için daha büyük bir risktir.

Gürültüyü azaltmanın yolları da herkesi aynı biçimde etkilemez. Ortak bir puanlama ölçütü, birden çok değerlendiricinin bağımsız puanlarının ortalaması ya da 10.2'deki gibi sabit bir kural, gürültüyü azaltır. Ama bu araçlar, değerlendiricilerin özerkliğini ve bazen de sistemin esnekliğini azaltır. Kimin özerkliğinin, kimin adaletine karşı tartılacağı bir değer sorusudur.

Kendi hayatında

Saniye Hanım apartmanda her yıl dairelerin hangisinin daha önce boyanacağına karar veriyor. Bu yıl ilk kez, kararı vermeden önce iki komşudan da aynı listeyi bağımsız olarak sıralamalarını istiyor. Üç liste karşılaştırıldığında, kendisinin bir dairenin durumunu ötekilerden belirgin biçimde daha kötü değerlendirdiğini fark ediyor; o dairenin sahibiyle geçen ay bir tartışma yaşamıştı.

Kendi yargılarındaki gürültüyü görmenin en basit yolu, aynı yargıyı iki kez, birbirinden habersiz biçimde vermektir: aynı şeyi farklı günlerde değerlendirmek ya da aynı şeyi bir başkasına da değerlendirtmek.

Fark büyükse, bir sonraki puanlamadan önce kendine yazılı bir ölçüt hazırla ve onu her örnekte aynı biçimde uygula.

Kapanış

1. Gürültü, aynı duruma verilmesi gereken yargıların kimin ya da ne zaman yargıladığına göre saçılmasıdır; yanlılık yargıların bir yöne kayması, gürültü ise birbirinden dağılmasıdır.
2. Sığınma kararlarına dair çalışmada aynı binadaki iki yargıcın kabul oranı yüzde 5 ile yüzde 88 arasında değişti; ünlü "aç yargıç" bulgusu ise Glöckner'in benzetimine göre büyük ölçüde davaların sürelerindeki farktan doğan bir yapaylık olabilir.
3. Toplam hata yanlılığın ve gürültünün birleşimidir; gürültüyü azaltmak, bazen yanlılığı gidermekten daha çok kazandırır ve ortak ölçütler, bağımsız yargıların ortalaması ve sabit kurallar bunun başlıca araçlarıdır.

Beş soru

1. Gürültü ile yanlılık arasındaki fark nedir?
2. Düzey gürültüsü ile durum gürültüsü nasıl ayrılır?
3. Sığınma kararları çalışması kişiden kişiye gürültü hakkında ne gösterdi?
4. Glöckner, Danziger ve arkadaşlarının aç yargıç bulgusuna hangi açıklamayı önerdi?
5. Sayılarla bölümündeki örnekte gürültüyü yarıya indirmek neden yanlılığı tamamen gidermekten daha çok kazandırır?

Yanıtlar

Yanlılık, yargıların ortalamasının doğru değerden bir yöne sapmasıdır; gürültü ise yargıların, kimin ya da ne zaman yargıladığına göre birbirinden saçılmasıdır. Yanlılık bir yönde kayma, gürültü gelişigüzel dağılmadır.

Düzey gürültüsü, farklı yargıçların ortalama yargılarının farklı olmasıdır: kimi genel olarak cömert, kimi katıdır. Durum gürültüsü ise aynı yargıcın aynı duruma farklı anlarda, örneğin ruh hâline ya da günün saatine bağlı olarak farklı yargılar vermesidir.

Aynı ofisteki farklı karar vericiler aynı ülkeden gelen başvuruları değerlendirdiğinde bile kabul oranları büyük ölçüde farklıydı. Bir bölge ofisinde kimi memur hiçbir Çinli başvurana sığınma vermezken kimi yüzde 68'ini kabul etti; Miami'de Kolombiyalı bir başvuranın şansı bir yargıçla yüzde 5, aynı binadaki başka bir yargıçla yüzde 88'di.

Glöckner'e göre gözlenen örüntü, olumlu kararların olumsuz kararlardan daha uzun sürmesinden doğan bir istatistiksel yapaylıkla açıklanabilir. Uzun sürecek davalara moladan hemen önce başlamayıp oturumu kapatan, biraz ileriyi planlayan ussal bir yargıç bile benzer büyüklükte bir etki üretir.

Toplam hata, yanlılığın karesi ile gürültünün karesinin toplamıdır. Örnekte yanlılığın katkısı 1, gürültünün katkısı 2,25'tir. Yanlılığı tamamen gidermek hatayı 2,25'e indirir; gürültüyü yarıya indirmek ise gürültünün katkısını 0,56'ya düşürür ve toplam hatayı yaklaşık 1,56'ya indirir.

Sonraki derse köprü

Selin gürültüyü azaltmak için bir öneri getiriyor: rol oyunu için beş maddelik bir kontrol listesi, her madde için evet ya da hayır ve toplam puan evetlerin sayısı. İK uzmanı itiraz ediyor: liste çok kaba, maddelerin önemi aynı değil, ağırlıksız bir sayım gerçek bir değerlendirmenin yerini tutamaz. Selin, ağırlıksız bile olsa böyle bir listenin çoğu zaman uzman yargısını geçtiğini okumuştur. Kusurlu ama tutarlı bir liste neden işe yarar? 10.4, Kusurlu ama dürüst modeller dersi, eşit ağırlıklı basit bir kontrol listesinin bile sezgisel yargıyı neden çoğu zaman geçtiğini ele alıyor.