Ortalama, dağılım, aykırı değer

Açılış

Aralığın üçüncü pazartesisi fabrikanın sabah toplantısında üretim müdürü Tuncay Bey elindeki rapordan bir sayı okudu. Bant kamerası son on iş gününde günde ortalama elli altı buçuk kutu reddetmişti; ondan önceki on günde bu sayı kırk civarındaydı. "Yüzde kırk artış," dedi. "Kamera yine şaşırıyor. Tedarikçiyi arayalım."

Murat Bey sayıyı not etti ama telefona uzanmadı. Toplantıdan sonra kalite odasına geçti ve teknisyenlerin günlük ret çizelgesini açtı. On satır, on sayı: otuz sekiz, kırk bir, otuz beş, kırk dört, otuz dokuz, iki yüz on iki, kırk, otuz yedi, kırk üç, otuz altı.

Dokuz gün birbirine benziyordu. Altıncı gün ötekilerin beş katıydı.

Sayıları küçükten büyüğe dizdi. Ortaya düşen iki değer otuz dokuz ile kırktı. Altıncı günü bir kenara koyunca kalan dokuz günün ortalaması otuz dokuzun hemen üstüne iniyordu; kameranın sıradan bir günü önceki haftalardan farklı görünmüyordu. Raporun gösterdiği artışın neredeyse tamamı tek bir perşembeden geliyordu.

Peki o perşembe neydi? Sayaç aynı kutuyu iki kez mi saymıştı, teknisyen bir rakamı yanlış mı yazmıştı, yoksa kamera gerçekten iki yüz on iki kutu mu atmıştı? Çizelge bunu söylemiyordu. Murat Bey bakım ekibinin arıza defterini istedi. O sabah saat onu kırk geçe bandın taşıma kayışı gevşemiş, öğleden sonra biri çeyrek geçeye kadar kutular yan yatarak, kimi zaman üst üste binerek kameranın önünden geçmişti. Kamera yamuk duran kutuları atmıştı; atılanların çoğu sağlamdı ve teknisyenler onları elle banda geri koymuştu.

Tuncay Bey'in hesabında bir yanlış yoktu. Murat Bey cevap yazmadan önce defterine tek bir soru not etti: elli altı buçuk, kameranın hangi gününü anlatıyor?

Tek fikir

Bir sütunu modele vermeden önce değerleri dizip bakarız: ortası nerede, ne kadar yayılıyor, hangisi ötekilerden kopuk duruyor. Ortalama bunlardan yalnız birine cevap verir ve tek bir aykırı değer onu sürükleyebilir.

Nasıl çalışır

Ortalamayı herkes bilir: değerler toplanır, kaç tane olduklarına bölünür. Önceki dersin fırın tablosunda on günde satılan ekmeklerin toplamı iki bin dokuz yüz yirmi; on güne bölünce günde iki yüz doksan iki ekmek ediyor. Bu sayı her değeri hesaba katar ve tam da bu yüzden her değerden etkilenir.

Bir yazım hatası düşünelim. Yedi Aralık'ta satılan üç yüz otuz sekiz ekmek, kayda bir sıfır fazlasıyla, üç bin üç yüz seksen diye geçmiş olsun. Ortalama iki yüz doksan ikiden beş yüz doksan altıya fırlar. On günün hiçbirinde beş yüz ekmek satılmamıştır, ama özet sayı fırının tipik gününün bu olduğunu söyler.

Fırın tablosunu dizince ortaya iki yüz seksen beş ile iki yüz doksan bir düşüyor; ortanca iki yüz seksen sekiz. Yazım hatalı kayıtta da aynı kalır, çünkü en büyük değer ne kadar büyürse büyüsün sıradaki yeri değişmez. Murat Bey'in çizelgesinde de durum buydu: ortalama elli altı buçuktu, ortanca otuz dokuz buçuk. İki sayı arasındaki açıklık, tek başına bir uyarıdır; bir yerde ötekilerden çok uzakta duran değerler var demektir.

Ortanın yeri bir sütunu anlatmaya yetmez; değerlerin ne kadar dağınık olduğu da gerekir. En kaba ölçü en küçük ile en büyük değerin arasıdır. Fırında satış iki yüz elli dokuz ile üç yüz otuz sekiz arasında, yani yetmiş dokuz ekmeklik bir aralıkta oynuyor. Bu aralık yalnız iki uç güne bakar. Daha sağlam bir sezgi için dizilmiş değerler ikiye bölünür. Alttaki beş günün ortası iki yüz yetmiş sekiz, üstteki beşin ortası üç yüz üç. Günlerin aşağı yukarı yarısı bu iki sayı arasında kalıyor. İstatistikçiler bu sınırlara çeyrek der: değerlerin dörtte biri alt sınırın altında, dörtte biri üst sınırın üstündedir.

Dağılımı görmenin en kolay yolu kâğıda bir çubuk grafik çizmektir. Fırın satışlarını yirmişer ekmeklik aralıklara ayıralım. İki yüz elli ile iki yüz altmış dokuz arasında iki gün var, iki yüz yetmiş ile iki yüz seksen dokuz arasında üç gün, iki yüz doksan ile üç yüz dokuz arasında yine üç gün. Üç yüz on ile üç yüz yirmi dokuz arasında bir gün, üç yüz otuz ile üç yüz kırk dokuz arasında da bir gün. Her aralığın üstüne gün sayısı kadar yüksek bir çubuk çizilince ortada yığılan, sağa doğru incelen bir şekil çıkar. Bu çizime histogram denir ve bir sütunu okumanın ilk adımıdır.

Her dağılım ortasından simetrik değildir. Bazılarında değerlerin çoğu küçük bir aralıkta toplanır, birkaç değer ise çok uzağa uzanır. Hane gelirleri, sigorta hasar tutarları, bir internet sayfasının günlük ziyaretçi sayısı böyle dağılır. Bu şekle çarpık dağılım denir ve çarpık bir sütunda ortalama uzun kuyruğa doğru çekilir, ortanca ise yığının içinde kalır. Hangisinin kullanılacağını sorulan soru belirler.

Geriye üçüncü soru kalıyor: hangi değer ötekilerden ayrı duruyor?

Bir değer ötekilerden uzak durabilir, çünkü yanlış ölçülmüş ya da yanlış yazılmıştır: bir sıfır fazla, virgül yanlış yerde, iki kez okunan bir sayaç. Gerçek ve doğru ölçülmüş olabilir ama seyrek görülen bir olayın izidir: bir bayram arifesi, bir dolu fırtınası, büyük bir kaza. Bir de ölçülmek istenen nüfusa hiç ait olmayabilir: başka bir makinenin, başka bir şubenin, başka bir sürecin değeri aynı sütuna karışmıştır. Murat Bey'in perşembesi bu sonuncusuna yakındı. Kamera gerçekten iki yüz on iki kutu atmıştı ama o gün ölçülen şey kutuların kalitesi değil, gevşeyen bir kayıştı.

Bu ayrımı sayı yapamaz, kayıt yapar. Sayının kendisinin de ne kadar az şey söyleyebildiğini Anscombe'un dört veri seti gösterir.

Çizildiğinde birinci set dağınık ama düz bir bulut gibi durur. İkincisi düzgün bir eğridir. Üçüncüsünde on noktanın hepsi neredeyse kusursuz bir doğru üzerindedir, bir nokta ise çok yukarıda kalır ve hesaplanan çizgiyi kendine doğru eğer. Dördüncüde on nokta aynı dikey çizgi üzerine yığılmıştır; çizginin eğimi tek başına kalan on birinci noktadan gelir. Makale bu son set için açık bir uyarı yazar: o tek gözlem silinseydi eğim hiç hesaplanamazdı.

Sırayı fark edelim: önce denetlemek, sonra ayırmak, ayırdığını da incelemek. Silmek bu sırada hiç geçmez.

Sahada

Nerede yanılır

Bir sütunun özeti ekrana tek satır olarak gelir: ortalama, en küçük, en büyük. Satırlara bakmadan bu satırla yetinmek, Tuncay Bey'in toplantısındaki yanılgıyı tekrarlar. Elli altı buçuk doğru hesaplanmıştı ama hiçbir günü anlatmıyordu.

Bir modelin eğitimi de bu tür özetlere dayanır. Hasar tutarı gibi çarpık bir sütunu tahmin etmeye çalışan bir model, birkaç çok büyük dosyanın hatasını küçültmek için bütün öteki dosyalarda tahminini yukarı kaydırabilir. Model kurulmadan önce kimse dağılıma bakmamışsa, bu kayma sınama sonuçlarında ancak ortalama bir sapma olarak görünür ve nereden geldiği anlaşılmaz.

İkinci tehlike ters yöndedir. Aykırı değerleri otomatik bir kuralla, örneğin en uç yüzde birlik dilimi atarak temizlemek kolaydır ve tablo hemen düzgünleşir. Ama Elif'in yanan aracı gerçek bir dosyaydı; şirket onu ödedi ve yine ödeyecek. Böyle değerleri silen bir model sınamada iyi görünür, sahada en pahalı dosyalarda en çok yanılır. Seda Hanım'ın yedi kilosu ise gerçekten hataydı; onu silmek yerine düzeltmek, aynı aktarım hatasının başka satırlarda da olup olmadığını sormayı mümkün kıldı.

Üçüncü tuzak aykırı değerin ağırlığını küçümsemektir. Anscombe'un dördüncü setinde on birinci nokta, birinci değişkende ötekilerin hepsi sekizken on dokuz değerini taşır. Sütunlara tek tek bakan biri onu fark eder ama ne kadar ağır bastığını fark etmeyebilir: çizginin bütün eğimi o tek satırdan gelir. Aykırı bir değer yalnız bir sütunun özetini kaydırmaz, modelin iki sütun arasında öğrendiği ilişkiyi de tek başına taşıyabilir.

Uygulama

Önceki dersin fırın tablosundaki satılan sütununu bir modelin göreceği gibi değil, bir insanın göreceği gibi okuyacaksın. Değerler şunlar: iki yüz yetmiş sekiz, iki yüz elli dokuz, iki yüz seksen beş, iki yüz doksan bir, üç yüz yirmi, üç yüz otuz sekiz, üç yüz üç, iki yüz seksen iki, iki yüz altmış dört, üç yüz.

Fırın sütununu doğru okuduysan ortalamayı iki yüz doksan iki, ortancayı iki yüz seksen sekiz bulursun. Değerler iki yüz elli dokuz ile üç yüz otuz sekiz arasında; alt yarının ortası iki yüz yetmiş sekiz, üst yarınınki üç yüz üç. Histogramda çubuklar soldan sağa iki, üç, üç, bir ve bir gün yüksekliğindedir. Yığın iki yüz yetmiş ile üç yüz dokuz arasında, sağa doğru kuyruk biraz daha uzun. Ötekilerden en uzak gün yedi Aralık'tır; o gün üç yüz elli ekmek pişirilmişti, fırıncı kalabalık bekliyordu. Tükenen altı ve on bir Aralık'ın değerleri isteği eksik gösterir; yığının içinde durdukları için aykırı görünmezler ama dağılımın üst ucunu kısaltırlar. Yazım hatalı kayıtta ortalama beş yüz doksan altı virgül ikiye çıkar, ortanca iki yüz seksen sekizde kalır.

Defter: "Bir sütuna bakmak" başlıklı sayfaya fırın sütunu için bulduğun beş sayıyı ve histogramını, altına kendi sütununun aynı beş sayısını yaz. Önceki derste başlattığın soru listesine bu dersten iki soru ekle: bu sütunda ortalama ile ortanca ne kadar ayrışıyor, ve ötekilerden ayrı duran değerin arkasında hangi olay var?

Hata köşesi

Sorumluluk

Bir değeri düzeltmek, ayırmak ya da tutmak bir karardır ve kararı veren, onun gerekçesini yazmakla sorumludur. Murat Bey perşembe gününü kamera performansı raporundan çıkarabilir ama bunu raporun altına nedeniyle birlikte yazar; aksi hâlde bir sonraki okuyan aynı soruyu yeniden sorar ya da kayış arızasını hiç öğrenmez. Seda Hanım'ın düzeltmesi kâğıt formla doğrulandı; doğrulanamayan bir değeri tahmine dayanarak değiştirmek, hatayı başka bir hatayla örtmektir. Sessizce silinen aykırı değerlerin bedelini çoğu zaman en uçtaki kişiler öder: en pahalı hasarı yaşayan müşteri, en hafif ya da en ağır hasta.

Kapanış

1. Ortalama her değeri hesaba katar ve bu yüzden tek bir uç değerle sürüklenebilir; ortanca sıranın ortasındaki değerdir ve uçlardan etkilenmez. İkisi arasındaki açıklık, uzakta duran değerlerin işaretidir.
2. Bir sütunun dağılımı ortası, yayılımı ve şekliyle okunur; kâğıda çizilen bir histogram, çarpık bir sütunu ya da tükenen günler gibi kırpılmış değerleri tek bakışta gösterir.
3. Aykırı bir değer hata, gerçek ama seyrek bir olay ya da başka bir nüfusun izi olabilir; hangisi olduğunu sayı değil kayıt söyler ve ilk iş silmek değil, denetlemektir.

Üç soru

1. Tuncay Bey'in elli altı buçuk sayısı yanlış hesaplanmamıştı. Bu sayıyla tedarikçiyi aramak hangi kararı yanlış yöne iterdi, ve Murat Bey'in perşembeyi anlamak için neden arıza defterine gitmesi gerekti?
2. Elif'in dokuz dosyalık örneğinde yanan araç dosyası çıkarılsaydı ortalama ne olurdu, ve şirketin ayırdığı karşılık bu değişiklikten nasıl etkilenirdi?
3. Zeynep Hanım'ın sınıfı otuz bir santimetrelik fideyi neden silmedi de ayrı bir gruba aldı?

Yanıtlar

1. Ortalamayı yükselten tek bir gündü ve o gün kameranın değil bandın sorunuydu. Tedarikçi aranırsa kamera gereksiz yere yeniden eğitime girebilir, asıl sorun olan kayış ise gözden kaçardı. Ret çizelgesi yalnız sayıyı tutuyordu; sayının arkasındaki olayı, yani kayışın gevşediği saatleri, ancak bakım ekibinin kaydı gösterebilirdi.
2. Kalan sekiz dosyanın toplamı yüz on bin lira eder; ortalama on üç bin yedi yüz elli liraya iner. Şirket karşılığını bu sayıyla ayırırsa, yanan araç gibi seyrek ama gerçek dosyalar geldiğinde para eksik kalır. Büyük dosya dağılımın bir parçasıdır; onu çıkarmak gelecekteki ödemeyi küçük gösterir.
3. Ölçüm doğruydu, yani bir hata yoktu; fide başka koşullarda, peteğin üstünde büyümüştü. Silmek o bilgiyi kaybettirirdi, ötekilerle aynı grupta tutmak ise deneyin ortalamasını yanıltırdı.

Sonraki derse köprü

Bu derste tek bir sütunun içine baktık: ortasına, yayılımına, ayrı duran değerlerine. Bir sonraki adım iki sütuna birden bakmak. Fırın tablosunda yağmurlu üç günün ikisinde satış düşük, tablonun en soğuk sabahları da yağmurlu günlere denk geliyor. Satışı düşüren yağmur mu, soğuk mu, yoksa ikisi aynı şeyin iki yüzü mü? Ders 3.5, korelasyon nedensellik değildir, birlikte değişen iki şeyin bir modelde nasıl yanıltıcı bir bağ kurabildiğini ele alıyor.