Küçük sayıların yasası

Bir an

Nisan ortası, Nermin Hanım'ın odası. Masada fabrikanın yirmi bayisinin geçen yılki dönüşüm oranları sıralanmış: hangi bayi, aldığı tekliflerin yüzde kaçını siparişe çevirmiş. Listenin tepesinde bir ilçe bayisi var, yüzde yüzle: beş teklifin beşi de sipariş olmuş. En dipte başka bir ilçe bayisi, sıfırla: dört teklifin hiçbiri tutmamış.

Nermin Hanım kararını vermiş. Tepedeki bayinin sahibini mayıs toplantısında konuşturacak, "ne yapıyorsa herkes öğrensin" diye. Dipteki bayiye de Tuğba'yı bir haftalığına gönderecek.

Selin listeyi eline alıyor ve parmağıyla teklif sayısı sütununu izliyor. Büyük şehirlerdeki bayiler iki yüz, üç yüz teklif almış ve hepsinin oranı yüzde 35 ile 45 arasında. Uçlarda duran iki bayinin toplam teklifi dokuz. "Nermin Hanım," diyor, "bu listenin iki ucunda da küçük bayiler var. Sizce bu bir tesadüf mü?"

Soru

Az sayıda gözleme dayanan sonuçlar neden en iyiler ve en kötüler listelerinin iki ucunu birden doldurur? Küçük bir örneklemin bize söylediğine ne kadar güvenmeliyiz?

Nasıl işler

Her bayinin gerçek dönüşüm oranının yüzde 40 olduğunu, yani bayiler arasında hiçbir gerçek fark olmadığını düşünelim. Yine de her yıl her bayi farklı bir oranla kapanır, çünkü her teklif biraz şansa bağlıdır. Soru, bu şansın oranı ne kadar oynattığıdır.

Beş teklif alan bir bayide tek bir teklifin sonucu oranı 20 puan değiştirir. Üç yüz teklif alan bir bayide aynı tek teklif oranı üçte bir puan bile oynatmaz. Az gözlemle hesaplanan oran, şansın her esintisinde büyük sallanır; çok gözlemle hesaplanan oran ise gerçek değerin yakınında durur.

Bu son kural, 1730'da Abraham de Moivre'ye kadar uzanır ve sonucu sezgiye ters düşer. Bir sıralamanın iki ucunu, gerçek kalitenin yanında, en çok sallananlar doldurur; en çok sallananlar da en küçüklerdir. Büyük birimlerin oranı ortada toplanırken, küçük birimler hem tepeye hem dibe savrulur.

Sezgimiz ise küçük örneklemi de büyüğü kadar temsil edici sayar. Beş teklifin beşini tutturan bayiye bakınca, "demek ki bu bayi çok iyi" deriz, beş teklifin ne kadar az bir şey söylediğini tartmadan.

Kanıt

Tversky ve Kahneman makalelerinde bir oyuncak örneği de verdi: iki oyuncaktan hangisini seçeceklerine bakılan ilk beş bebeğin dördü aynı oyuncağı seçmiş. Birçok araştırmacı burada bir tercihin varlığına inanmaya başlar; oysa hiçbir tercih olmasa da en az bu kadar uç bir sonucun çıkma olasılığı sekizde üçtür.

Nerede çöker

Küçük örneklem değersiz değildir. Beş teklifin beşini tutturan bayi, ortalama bir bayiden biraz daha iyi olabilir; 1.4'teki olabilirlik oranının diliyle, küçük örneklem de kanıttır, yalnız zayıf bir kanıttır. Hata, küçük örnekleme büyük örnekleme gösterilecek güveni göstermekte yatar.

Küçük birimler bazen gerçekten farklıdır. Wainer'in on birinci sınıf verisinde büyük okullar gerçekten daha iyiydi; çok küçük bir lise, büyük bir lisenin sunabildiği ders çeşitliliğini ve uzman öğretmeni sunamaz. De Moivre'nin denklemi, uçlardaki küçük birimlerin bir kısmının yalnız şans eseri orada olduğunu söyler; hepsinin öyle olduğunu söylemez. Gerçek farkı şanstan ayırmak için ya daha çok gözlem ya da birkaç yıla yayılan bir tutarlılık gerekir.

Denklem ayrıca gözlemlerin birbirinden bağımsız olduğunu varsayar. Bir bayinin üç yüz teklifinin iki yüzü tek bir büyük müşteriden geliyorsa, o bayinin oranı göründüğünden çok daha az gözleme dayanır; etkili örneklem, teklif sayısından küçüktür. Büyük örneklem de yanlılığı düzeltmez: 0.3'te gördüğümüz gibi, yalnız hayatta kalanlardan çekilen bir örneklem ne kadar büyük olursa olsun yanlış topluluğu temsil eder.

Yaygın yanılgılar

Sayılarla

Bütün bayilerin gerçek oranının yüzde 40 olduğunu varsayalım ve şansın oranı ne kadar oynattığına bakalım. Beş teklif alan bir bayinin yıllık oranı, tipik olarak gerçek değerden 22 puan kadar sapar. Yirmi teklifte bu sapma 11 puana, yüz teklifte 5 puana, beş yüz teklifte 2 puana iner. Sapmayı yarıya indirmek için teklif sayısı dört katına çıkmak zorunda.

Beş teklif alan tek bir bayinin beşini birden tutturma olasılığı yüzde 1'dir; hiçbirini tutturamama olasılığı yaklaşık yüzde 8'dir. Bunlar tek başına küçük olasılıklar. Ama her biri beş teklif alan yirmi küçük bayi varsa, en az birinin sıfırda kalma olasılığı yaklaşık yüzde 80'e, en az birinin beşte beş tutturma olasılığı yaklaşık yüzde 19'a çıkar. Liste uzadıkça, uçlarda birinin görünmesi neredeyse kesinleşir. İki yüz teklif alan büyük bir bayinin ise yüzde 60'ın üstüne çıkma olasılığı, aynı varsayımla, milyarda birin altındadır.

Wainer'in Pennsylvania verisinde de bu desen görünür. Küçük okulların payı, en iyi 50 okul arasında yüzde 12, en kötü 50 okul arasında yüzde 18'di; hiçbir şey olmasa beklenen yüzde 3 civarıydı. Bayi hesapları, bağımsız teklifler ve herkes için yüzde 40'lık ortak bir oran varsayımıyla, binom dağılımından hesaplandı.

Herkes için aynı mı?

Küçük sayıların bedelini en çok küçük birimler öder. Küçük bir köy okulu, nüfusu az bir ilçenin hastanesi, birkaç çalışanlı bir şube, bir ankette az sayıda temsil edilen bir grup: hepsi, gerçekte ortalama olsalar bile, sıralamalarda uçlara savrulma riski taşır. Bir yıl "en başarılı" ilan edilip ödül alırlar, ertesi yıl "en başarısız" ilan edilip denetime girerler.

Bu yük kişilere de düşer. İşe yeni başlayan biri birkaç işle değerlendirilir; uzun süredir çalışan biri yüzlerce işle. Yeni gelenin iki kötü günü, eski çalışanın iki kötü gününden çok daha büyük bir iz bırakır. Bir ekipte azınlıkta olan bir gruptan tek bir kişinin hatası da, gruba dair bir genellemeye dönüşmeye çok daha yatkındır, çünkü o grup hakkında elde başka gözlem yoktur.

Kendi hayatında

Küçük sayılarla en sık karşılaştığın yer, büyük ihtimalle puanlar ve yorumlardır. Bir haritada iki restoran görüyorsun: biri dört yorumla 5,0, öbürü sekiz yüz yorumla 4,6. Sezgin ilkine yönelir. Ama dört yorumla 5,0 almak, ortalama bir restoranın da kolayca yakalayabileceği bir sonuçtur; dört kişinin yakın çevreden olması ihtimali de cabası. Sekiz yüz yorumun 4,6'sı ise şansın pek oynatamadığı bir sayıdır. İkinci restoran, büyük ihtimalle daha güvenli bir seçimdir.

Kendi kararlarında da aynı soru işe yarar. Yeni bir yöntemi iki kez deneyip iki kez başarılı olduysan, bu umut verici bir başlangıçtır; ama yöntemi benimseyip başkalarına önermeden önce kaç denemeye daha ihtiyacın olduğunu düşün.

Kapanış

1. Az gözlemle hesaplanan oranlar şansla çok daha fazla sallanır; bu yüzden en iyiler ve en kötüler listelerinin iki ucu da küçük birimlerle dolar, gerçek bir fark olmasa bile.
2. De Moivre'nin denklemine göre değişkenlik örneklem büyüklüğünün kareköküyle küçülür; Tversky ve Kahneman, eğitimli araştırmacıların bile küçük örneklemi büyüğü kadar temsil edici saydığını gösterdi.
3. Küçük örneklem zayıf ama gerçek bir kanıttır; ona büyük örneklemin güvenini göstermemek, bir oranı her zaman dayandığı gözlem sayısıyla birlikte okumak gerekir.

Beş soru

1. Nermin Hanım'ın listesinin iki ucunda neden küçük bayiler çıktı, ve bu bayiler hakkında ne söylenebilir?
2. Tversky ve Kahneman'ın anketinde araştırmacılar on kişilik ek grupta anlamlı sonuç alma olasılığını nasıl tahmin etti, ve bu tahmin neden fazla iyimserdi?
3. Bir tahminin belirsizliğini üçte birine indirmek için örneklemi kaç katına çıkarmak gerekir?
4. Wainer'in Pennsylvania verisinde küçük okulların yalnız en iyiler listesine bakılsaydı hangi sonuca varılırdı, iki uca birden bakınca ne görüldü?
5. Dört yorumla 5,0 alan bir restoranı, sekiz yüz yorumla 4,6 alan bir restorana tercih etmek neden çoğu zaman yanlıştır?

Yanıtlar

Nermin Hanım'ın listesinde küçük bayilerin oranı birkaç teklife dayandığı için şansla çok sallanıyordu; bu yüzden hem en tepeye hem en dibe savruldular. Bu bayilerin gerçekten iyi ya da kötü olduğu söylenemez; söylenebilecek olan, verinin henüz karar vermeye yetmediğidir.

Araştırmacıların ortanca tahmini 0,85'ti; makul değer 0,48 civarındaydı. Araştırmacılar on kişilik grubu da yirmi kişilik grup kadar temsil edici saydılar ve ikinci grubun sonucunun da şansla sallanacağını hesaba katmadılar.

Belirsizlik örneklemin kareköküyle küçüldüğü için, üçte birine indirmek için örneklemi dokuz katına çıkarmak gerekir.

Yalnız en iyiler listesine bakılsaydı, küçük okulların daha başarılı olduğu sonucuna varılırdı; küçük okul hareketini destekleyenlerin gösterdiği kanıt da buydu. İki uca birden bakınca küçük okulların en kötüler arasında da fazla olduğu görüldü; bu desen, bir avantajdan çok daha büyük bir dağınıklığa işaret ediyordu.

Dört yorumla 5,0, ortalama bir restoranın da kolayca alabileceği bir puandır, çünkü dört gözlem şansla çok sallanır. Sekiz yüz yorumla 4,6 ise şansın pek oynatamadığı, restoranın gerçek düzeyine çok yakın bir sayıdır.

Sonraki derse köprü

Bayi listesini kapattıktan sonra Nermin Hanım bir şey daha hatırlıyor: Tuğba geçen ay art arda altı teklifi siparişe çevirmişti ve ekip ona "seri yakaladı" diye takılmıştı. Bir seri, kişinin o an gerçekten daha iyi olduğunu mu gösterir, yoksa rastlantının da seriler üretebildiğini mi? 3.3, Sıcak el: yanılgı mı? dersinde bu sorunun ünlü bir cevabını ve o cevabın otuz yıl sonra nasıl yeniden tartışmaya açıldığını ele alıyor.