Kendi verini tanı

Açılış

Ocağın ikinci haftası, dönemin son biyoloji dersiydi. Fasulye deneyi dokuz hafta sürmüştü ve sınıfın ortak tablosu akıllı tahtada açıktı: on satır, her satırda saksının numarası, durduğu yer, haftalık su miktarı ve son ölçülen boy. Aralıktaki cetvel tartışmasından sonra sınıf ölçmenin nasıl yapılacağını tek cümleye bağlamış, o günden beri herkes toprağın yüzeyinden gövdenin büyüyen ucuna kadar ölçmüştü.

Berk tabloyu yere göre sıralayınca sonuç kendiliğinden göründü. Pencere önündeki saksılar uzundu, kapı tarafındaki masada duranlar kısa. Berk tahtaya büyük harflerle yazdı: "Pencere önü fasulyeyi uzatır."

Elçin itiraz etmedi ama sulama defterini açtı. Pencere önündeki saksılar lavaboya yakındı; sürahi her pazartesi önce onlara gidiyor, masaya gelene kadar yarıya iniyordu. Mert ise başka bir şeye takıldı. Pencere önündeki altıncı saksının boyu kırk altı santimetreydi; öteki bütün fideler yirmi yedinin altında kalmıştı. Altıncı saksının fidesi sırığa sarılmıştı ve cetvel yetmeyince biri şerit metreyi sarmal gövde boyunca dolamıştı.

Zeynep Hanım tabloya bir süre baktı, sonra kendi kâğıt defterini açtı. Defterde on iki saksı vardı. Üç ve beş numaralı saksılar dördüncü haftada, kaloriferin açık kaldığı bir hafta sonundan sonra kurumuş, ortak tablodan silinmişti. İkisi de pencere önündeydi.

Tahtadaki cümlenin altına bir satır ekledi: "Bu cümleyi yazmadan önce tabloya hangi soruları sormalıydık?"

Tek fikir

Bir veri setine model kurmadan, hatta bir sonuç cümlesi yazmadan önce onu tanımak gerekir: satırın ne olduğu, her sütunun nasıl dağıldığı, hangi sütunların birlikte değiştiği ve tabloya kimin girmediği tek bir sayfada özetlenir.

Nasıl çalışır

Bu modül veriyi parça parça açtı: kaydın bir insan kararıyla doğduğunu, sayıya çevrilişini, tablonun satır ve sütunlarını gördük. 3.4'te bir sütunun ortasına ve uçlarına baktık, 3.5'te iki sütunun birlikte değişmesinin neyi kanıtlamadığını, 3.6'da tabloya hangi kapıdan kimlerin girebildiğini sorduk. Bu atölye o parçaları tek bir işte birleştiriyor.

Adı bir kitaptan gelir.

Tukey'nin kitabının ilk bölümleri doğrudan bu derste yapacağımız işe denk düşer: önce sayıları elle yazmak, sonra bir grubu birkaç sayıyla özetlemek, en sonda iki şeyin birlikte nasıl değiştiğini çizmek. Fasulye tablosu bu sırayla okunabilir.

İlk soru satırla ilgilidir. Bir satır bir saksıdır ve tabloda on satır var; ama deney on iki saksıyla başlamıştı. Satır sayısı ile başlangıçtaki birim sayısı tutmuyorsa, aradaki farkın nereye gittiği sorulur.

İkinci soru her sütunla tek tek ilgilidir. Yer kategorik bir sütun: dört pencere, altı masa. Su ve boy sayısal. Boy sütununda en küçük değer on altı, en büyük kırk altı. On boyun toplamı iki yüz otuz üç, ortalaması yirmi üç virgül üç. Değerler küçükten büyüğe dizildiğinde ortada yirmi ile yirmi bir kalır; ortanca, yani sıralanmış değerlerin ortasındaki değer, yirmi virgül beştir. Ortalama ortancadan neredeyse üç santim yukarıda duruyor. Bu fark tek bir değerin çekişinden gelir: kırk altıyı çıkarınca kalan dokuz fidenin ortalaması yirmi virgül yetmiş sekize iner. Altıncı saksı ötekilerden uzak düşen bir değerdir ve nedeni fasulyede değil, şerit metrenin sarmal gövde boyunca dolanmasındadır.

Üçüncü soru sütunların birlikteliğiyle ilgilidir. Pencere önündeki dört fidenin ortalama boyu otuz virgül beş, masadaki altısınınki on sekiz virgül beş. Altıncı saksı dışarıda bırakılsa da pencere önündekilerin ortalaması yirmi beş virgül otuz üç olur, yine masadan yüksektir. Ama su sütunu da yerle birlikte değişiyor: pencere önündeki saksılar haftada yüz kırk ile yüz elli mililitre su almış, masadakiler doksan ile yüz on arasında. Işık, sıcaklık ve su aynı sütunun, yer sütununun içine paketlenmiş. Bu tablo üçünü birbirinden ayıramaz; "pencere önü fasulyeyi uzatır" cümlesi en fazla "pencere önündeki fideler, aynı zamanda daha çok sulanan fidelerdi" diye yazılabilir.

Dördüncü soru tabloda olmayanla ilgilidir. Kuruyan iki saksı pencere önündeydi. Onlar hesaba katılınca pencere önüne ekilen altı fidenin ikisi yaşamamış, masaya ekilen altı fidenin hepsi yaşamıştır. Silinen satırlar, pencere önünü yalnız hayatta kalanlar üzerinden iyi gösteriyordu.

Bu dört sorunun cevabını bir yerde toplamak için bir belge biçimi işe yarar.

Veri sözlüğü sütunları anlatır; bu derste kuracağımız özet sayfası ise sözlüğe sütunların gerçekte nasıl davrandığını ve tablonun sınırını ekler.

Sahada

Nerede yanılır

Özet sayfası dolduruldukça bir güven duygusu doğar: en küçük, en büyük, ortalama, ortanca, hepsi yerli yerinde. Oysa her özet sayısı bir şeyi gösterirken başka bir şeyi örter.

Ortalama, grupların karışık olduğu bir sütunda hiçbir gruba ait olmayan bir değere düşebilir. Süsen veri setinde taç yaprak boyunun ortalaması üç virgül yetmiş altı santimetredir; oysa çiçeklerin bir kümesi bir ile bir virgül dokuz arasında, ötekiler üç ile altı virgül dokuz arasındadır ve bir virgül dokuz ile üç arasında tek bir çiçek yoktur. Tek bir ortalama, iki ayrı tepeyi bir ortaya sıkıştırır. Sayıların yanında en az bir kez sıralanmış değerlere, ya da kâğıda dökülmüş bir dağılıma bakılmazsa bu boşluk görünmez.

Birlikte değişme de grubu görmeyen göze yanlış konuşur. Kanıt kartındaki çanak yaprak örneği bunun tersini gösteriyor: bütün tabloda ilgisiz görünen iki ölçü, her grubun içinde birlikte büyür. Fasulye tablosunda olan da benzeri: yer sütunu ışığı, sıcaklığı ve suyu birlikte taşıdığı için hangisinin boyu etkilediği bu veriyle söylenemez. Böyle bir tabloyla eğitilen bir model, sulamanın değiştiği bir sınıfta da pencereyi ödüllendirmeye devam eder.

Aykırı bir değer görünce hemen silmek de bir yanılmadır. Altıncı saksının kırk altısı bir ölçüm hatasıdır ve nedeni bulunduğu için düzeltilebilir; Elif'in ağır yaralanmalı dosyaları ise gerçektir ve şirketin en çok para ödediği dosyalardır. Aykırı değerin önce nereden geldiği sorulur, sonra ne yapılacağına karar verilir.

En sessizi ise silinmiş satırdır. Özet sayfası yalnız tabloda olanı özetler. Fasulye tablosunun her sayısı doğru hesaplanmıştı ve yine de pencere önünü olduğundan iyi gösteriyordu, çünkü kuruyan iki saksı hesabın dışındaydı.

Uygulama

Bu atölyede gerçek ve herkese açık bir veri setini baştan sona tanıyacak ve bir defter sayfasına özetleyeceksin. Veri seti 3.3'ten tanıdık: UCI makine öğrenmesi arşivindeki süsen veri seti. İçinde kişiye ait hiçbir bilgi yok; yüz elli çiçeğin dört ölçümü ve türü var.

1. Veri setini arşivin sitesinde "Iris" adıyla bul ve sıkıştırılmış dosyayı indir. İçinden iris.data dosyasını çıkar; dosyada başlık satırı yoktur, sütunlar virgülle ayrılmıştır. Sütun adlarını veri setinin sayfasından al ve ilk satıra kendin yaz: çanak yaprak boyu, çanak yaprak eni, taç yaprak boyu, taç yaprak eni, tür.
2. Dosyayı hesap tablosuna aktarırken ondalık ayırıcıyı nokta olarak seç. Türkçe ayarlı bir programda bu seçim yapılmazsa beş nokta bir gibi değerler tarihe ya da metne dönüşebilir; ilk satırları dosyanın kendisiyle karşılaştırarak doğrula.
3. Satırın birimini yaz: her satır tek bir çiçek mi, başka bir şey mi? Kaç satır var? Her türden kaç satır var?
4. Her sütunun türünü yaz: hangileri sayısal, hangisi kategorik, sayısal olanların birimi ne?
5. Dört sayısal sütunun her biri için en küçük değeri, en büyük değeri, ortalamayı ve ortancayı hesapla. Hesap tablosunun işlev listesinde bunlar programın diline göre farklı adlar taşır; "ortanca" ya da "median" diye aratabilirsin. Ortalama ile ortancanın birbirinden en çok uzaklaştığı sütunu işaretle ve o sütunu küçükten büyüğe sıralayıp değerlerin nerede sıklaştığına, nerede seyreldiğine bak.
6. Aykırı aday ara. Tabloyu türe göre süz ve her türün içinde, ötekilerden belirgin biçimde ayrı duran bir değer var mı bak. Bütün tabloda sıradan görünen bir değerin kendi türünün içinde aykırı kalıp kalmadığını sor. Ardından birbirinin tıpatıp aynısı olan satırları say.
7. İki sütunun birlikte değişip değişmediğine bak. Çanak yaprak boyunu yatay, enini dikey eksene koyan bir saçılım grafiği çiz ya da iki sütunun korelasyonunu veren işlevi kullan. Sonra aynı hesabı her tür için ayrı ayrı yap. Sonuç değişiyorsa, hangi sütunun ilişkiyi gizlediğini yaz.
8. Tablonun dışarıda bıraktığını yaz. Sayfa çiçekleri kimin, nerede ve hangi yıl ölçtüğünü söylüyor mu? Kaç süsen türü kapsanmış? Türlerin eşit sayıda olması doğadaki bolluklarını mı, toplayanın seçimini mi gösteriyor? Bu tabloyla eğitilmiş bir model dördüncü bir türden bir çiçekle karşılaşırsa ne der?

Kendi sonuçlarını aşağıdaki tabloyla karşılaştırabilirsin. Değerler santimetre cinsinden, iris.data dosyasının yüz elli satırından hesaplanmıştır.

Bir satır bir bitkidir; yüz elli satır, her türden elli. Ortalama ile ortanca en çok taç yaprak boyunda ayrılır ve sıraladığında bir virgül dokuz ile üç arasında boşluk bulursun. Aykırı adaylar için iyi bir başlangıç, setosa türünün kırk ikinci satırındaki iki virgül üçlük çanak yaprak enidir: bütün tabloda daha dar çiçekler var, ama setosanın öteki kırk dokuz çiçeğinin hepsi ondan geniştir. Tıpatıp aynı satırlar konusunda kanıt kartı yardım edecek.

İstersen aynı adımları kendi tuttuğun bir kayda da uygula: bir saksı bitkisinin haftalık sulaması ve boyu ya da bir tarifin her denemesindeki un miktarı ve sonucun ağırlığı.

Defter: "Süsen veri setini tanımak" başlıklı sayfaya sekiz adımın cevaplarını sırayla yaz; en alta, bu veri setiyle bir model kurulacak olsa önce kime hangi soruyu soracağını tek cümleyle ekle. Modül boyunca biriktirdiğin soru listesine iki soru daha ekle: bir aykırı değerin nereden geldiği ve tablodan kimin silindiği.

Hata köşesi

Sorumluluk

Bir veri setini tanımak, onunla model kurmaya karar veren kişinin işidir ve tedarikçiye, stajyere ya da otomatik bir rapora devredilemez. Özet sayfasındaki her karar, hangi aykırı değerin düzeltildiği, hangisinin bırakıldığı, hangi satırların neden silindiği, yazılı ve tarihli tutulur; böylece sonradan gelen biri aynı kararı doğrulayabilir. Silinen satırların bedelini tabloyu kuranlar değil, tabloda görünmeyenler öder: kuruyan saksılar gibi, telefonla başvuran köylüler gibi, şirkete hiç bildirilmemiş kazalar gibi. Zeynep Hanım'ın sınıfı bu yüzden ortak tabloya bir sütun daha ekledi: satır silindiyse, ne zaman ve neden.

Kapanış

1. Keşifsel veri analizi, bir modelden ya da bir sonuç cümlesinden önce veriye neye benzediğini görmek için bakmaktır; satırın birimi, sütunların dağılımı, birlikte değişen sütunlar ve dışarıda kalanlar tek bir sayfada özetlenir.
2. Ortalama ancak en küçük, en büyük ve ortanca değerle birlikte okunur; ikisinin ayrılması bir uç değerin ya da birbirine karışmış grupların işaretidir ve aykırı değer silinmeden önce nedeni sorulur.
3. Bütün tabloda görülen bir birlikte değişme gruplara bölününce kaybolabilir ya da yön değiştirebilir; özet sayfası en sonda tablonun kimi ve neyi kapsamadığını yazar.

Üç soru

1. Fasulye tablosunda boy sütununun ortalaması yirmi üç virgül üç, ortancası yirmi virgül beş. Bu fark neyi gösteriyor ve özet sayfasına hangi notla yazılmalı?
2. Berk'in "pencere önü fasulyeyi uzatır" cümlesini bu tabloyla neden kuramayız, ve deney yeniden yapılsa neyin değiştirilmesi gerekir?
3. Süsen veri setinde çanak yaprağın boyu ile eni bütün tabloda neredeyse ilgisiz görünüyor. Bu sonucu bir modele girdi seçerken kullanmak neden yanıltıcı olur?

Yanıtlar

1. Tek bir uç değerin ortalamayı yukarı çektiğini gösteriyor: altıncı saksının kırk altısı çıkarılınca ortalama yirmi virgül yetmiş sekize iner. Özet sayfasına değerin bir ölçüm hatası olduğu, şerit metrenin sarmal gövde boyunca dolandığı ve düzeltilmiş ölçümün beklendiği yazılır.
2. Pencere önündeki fideler hem daha çok ışık hem daha çok su almıştı ve kuruyan iki saksı tablodan silinmişti; yerin etkisi suyunkinden ayrılamıyor, ölen fideler de hesaba girmiyor. Yeniden yapılacak deneyde iki yerde de su aynı miktarda verilir ve silinen saksılar tabloda bir durum sütunuyla kalır.
3. Çünkü her türün içinde iki ölçü birlikte büyür; ilişkiyi gizleyen şey türler arasındaki farktır. Bütün tabloya bakan biri, türü bilinen bir çiçekte çanak yaprağın boyunun eni hakkında bir şey söylediğini kaçırır; tür sütunu girdilerin arasındaysa iki ölçü birlikte değerlendirilmelidir.

Sonraki derse köprü

Seviye 0 bu atölyeyle kapanıyor; bir veri setini satır, sütun ve dağılım olarak okumayı öğrendik. Süsen tablosunun dördüncü sütunundan sonra tür geliyor ve dört ölçüden türe giden bir yol var gibi görünüyor. Seviye 1 bu yolu soruyla açıyor: Ders 4.1, Girdi, çıktı, fonksiyon, öğrenmeyi girdilerden çıktılara bir eşleme bulmak olarak ele alıyor.