Veri nedir?

Açılış

Aralığın ilk pazartesisi Zeynep Hanım'ın biyoloji laboratuvarındaki pencere önünde on iki saksı duruyordu. Üç hafta önce her gruba birer fasulye tohumu verilmiş, her pazartesi fidenin boyunu ölçüp sağlık durumunu not etmeleri istenmişti. O sabah Zeynep Hanım ödev kâğıtlarını toplarken dördüncü saksının üç ayrı satırda durduğunu fark etti. Berk, Elçin ve Mert aynı fideyi ayrı ayrı ölçmüştü, çünkü grup içinde kimin ölçeceğinde anlaşamamışlardı.

Berk on bir santimetre yazmıştı. Elçin dokuz buçuk. Mert sekiz. Sağlık sütununda da üç ayrı kelime vardı: Berk "sağlıklı", Elçin "sağlıksız", Mert "orta".

Zeynep Hanım üçünü tahtaya çağırıp cetveli eline verdi ve ölçtükleri gibi bir kez daha ölçmelerini istedi. Berk cetvelin sıfırını toprağa dayayıp en uzun yaprağın ucuna kadar okudu. Elçin de toprağa dayadı ama yaprağa değil, gövdenin büyüyen ucuna baktı. Mert cetveli saksının kenarına koymuştu; toprak kenarın bir buçuk santim altındaydı. Sağlık sütununda da aynı ayrılık vardı: alttaki yaprağın sarardığını Elçin görmüş, Berk görmemiş, Mert görmüş ama "bir yaprak yüzünden sağlıksız denmez" diye düşünmüştü.

Mert sordu: "Hocam, hangimiz doğru ölçtük?" Zeynep Hanım cevap vermedi, tahtaya başka bir soru yazdı: Fasulyenin boyu hangisi?

Tek fikir

Veri dünyanın kendisi değil, onun bir kaydıdır: bir araç, bir ölçüm kuralı, kaydeden kişi ve önceden seçilmiş kategoriler onu biçimlendirir. Bir model yalnız bu kaydı görür; kayda girmeyeni hiç görmez.

Nasıl çalışır

Modül 1'de bir modelin eğitim örneklerinden öğrendiğini söyledik; Modül 2 de dil modellerinin internetteki metin yığınlarıyla eğitilmesiyle kapandı. İki modülde de öğrenmenin hammaddesi aynı kelimeyle anıldı. Şimdi o kelimeyi açıyoruz.

Tanımın ağırlığı "kaydedilmiş" kelimesinde. Dördüncü saksıdaki fasulyenin bir boyu vardır; ama tabloya giren şey o boy değil, bir cetvelin bir yerden bir yere tutulup okunmasının sonucudur. Fidenin kendisi ile tablodaki "on bir" arasında birkaç karar durur. Önce neyin ölçüleceği seçilir: boy mu, yaprak sayısı mı, yaprağın rengi mi. Sonra nasıl ölçüleceği: cetvelin sıfırı nereye konacak, ölçüm nerede bitecek, yarım santimetreler yuvarlanacak mı. Ardından kimin ve ne zaman kaydedeceği gelir. Son olarak da kaydın biçimi: santimetre mi, milimetre mi, serbest bir kelime mi, üç seçenekten biri mi.

Zeynep Hanım'ın ödev yönergesinde bu kararların yalnız ilki vardı: "boyu ölçün." Geri kalanını her öğrenci kendisi verdi. Her sayı bir şeyi doğru ölçüyordu, ama her biri başka bir şeyi.

Mert'in sekizi sistematik bir hatanın iyi örneğidir. Saksı kenarından ölçtüğü sürece her pazartesi bir buçuk santim eksik yazacaktır. Kendi satırındaki büyüme hızı doğru görünür, çünkü her hafta aynı farkı çıkarır; ama onun tablosu öteki grubunkilerle birleştirildiğinde dördüncü saksının fidesi olduğundan kısa görünür. Cetveli her seferinde biraz farklı açıyla tutmaktan gelen yarım santimlik oynamalar ise rastgeledir; çok sayıda ölçümde birbirini götürmeye yatkındır. Sistematik hata birbirini götürmez. Ölçüm sayısını artırmak onu küçültmez, yalnız daha emin görünmesini sağlar.

Sağlık sütunu başka bir iş yapıyordu.

Boy bir ölçümdür, cetvel olmasa da bir şekilde vardır. "Sağlıklı" ise bir karardır. Alttaki yaprağı sararmış ama yeni yaprak açan bir fidenin hangi kutuya gireceği, fasulyenin içinde yazmaz; onu bakan kişi belirler. Kategorilerin kendisi de bir seçimdir. Yönerge iki seçenek verseydi Mert'in "orta"sı yazılamazdı; Mert onu iki kutudan birine koymak zorunda kalırdı ve tereddüdü kayıttan silinirdi.

Etiketin bir yargı olması büyük ve emek verilmiş veri setlerinde de ortadan kalkmaz.

Yazarların yolu iki adımlıydı. Önce bir algoritma, her sınama setinde etiketi şüpheli görünen örnekleri işaretledi. Sonra her işaretli örnek, çevrim içi bir mikro iş platformunda beş ayrı kişiye birbirinden habersiz gösterildi; verilen etiketi beş kişiden en az üçü onaylamazsa o etiket hatalı sayıldı. 2.5'teki yarışmanın elli bin fotoğraflık doğrulama seti de incelenenler arasındaydı.

2.5'te ImageNet'i kuranların, denetledikleri örneklerde etiketlerin yüzde doksan dokuz virgül yedisinin doğru çıktığını bildirdiğini görmüştük. İki sayı birbirini yalanlamaz; biri veritabanını kuranların kendi denetledikleri örneklerden, öteki yarışmanın doğrulama setinde bir algoritmanın hatalı olabileceğini işaretlediği fotoğraflardan gelir. Bir etiket doğruluğu sayısı, kimin hangi örnekleri nasıl denetlediği bilinmeden okunamaz.

Aynı çalışmada etiketin bir yargı olduğunu en açık gösteren deney, uzmanlarla yapılanıdır.

Dikkatli, konuyu bilen ve on dört kat daha fazla zaman ayıran insanlar bile her dört fotoğraftan yaklaşık birinde ilk bakışta ayrıştı. İki insanın aynı örneğe farklı etiket vermesi bu modülün konusu değil, Modül 26'nın; burada yalnız sezgisini tutalım: etiket ne kadar uğraşılırsa uğraşılsın bir karardır ve kararı veren kişiyle birlikte kayda girer.

Kayda girmeyenler de vardır. Dördüncü saksının hangi pencerede durduğu, en son ne zaman sulandığı, hafta sonu kaloriferin açık kalıp kalmadığı tabloda yoktu. Bir model o tablodan öğrenseydi bunları hiç bilmeyecekti; yokluklarını da fark etmeyecekti.

Yazarlar, elektronik sanayisinde en basit parçanın bile çalışma özelliklerini ve sınama sonuçlarını anlatan bir bilgi föyüyle satıldığını hatırlatır ve her veri setinin de böyle bir belgeyle gelmesini önerir. Önerdikleri sorular, verinin neden toplandığından nasıl dağıtılıp güncelleneceğine kadar yedi başlıkta toplanır. Toplama süreciyle ilgili olanlar bu dersin tam üstüne düşer: veri doğrudan mı gözlendi, kişilerin kendisi mi bildirdi, yoksa başka veriden mi çıkarıldı; toplamaya kimler katıldı ve onlara nasıl ödeme yapıldı; veri hangi zaman aralığında toplandı ve bu aralık verinin anlattığı olayların zamanıyla örtüşüyor mu. Bir veri setinin kökenini böyle bir kartta yazmayı Modül 26'nın son dersinde yapacağız.

Sahada

Nerede yanılır

Bir modelin başarı oranı, sınama setindeki etiketlerle ne kadar anlaştığını gösterir; dünyayla ne kadar anlaştığını değil. Etiketler doğruysa ikisi aynı şeydir. Etiketlerin bir kısmı hatalıysa, hatalı etiketi "doğru" tahmin eden model ödüllendirilir, gerçeği söyleyen model cezalandırılır. Northcutt ve arkadaşları tam bunu gösterdi: düzeltilmiş etiketlerle bakıldığında, sınama setindeki hatalı etiketlerin oranı birkaç puan artınca hangi modelin daha iyi göründüğü değişebiliyordu. Yazarların önerisi sadedir: bir model seçilecekse, en azından sınama setinin etiketleri elden geçirilmeli.

İkinci yanılma sistematik hatada saklıdır. Elif'in pazartesi kazaları ya da Seda Hanım'ın sıfırla biten tansiyonları rastgele gürültü değildir; bir kaydetme alışkanlığıdır. Bu tür kayıtlarla eğitilen bir model alışkanlığı da öğrenir: pazartesiyi riskli bir gün sayar, yuvarlanmış değerleri gerçek sanır. Veri büyüdükçe bu hata azalmaz, aksine model ona daha emin bağlanır. Fark edilmesinin en güvenilir yolu, kaydın arkasına bakmaktır: aynı şeyi iki kişiye bağımsız olarak ölçtürmek, kaydı kimin ve ne zaman girdiğini sormak, beklenmedik bir düzen görüldüğünde onu önce dünyada değil kayıt sürecinde aramak.

Üçüncü yanılma görünmeyenle ilgilidir. Kayıt kategorileri önceden seçildiği için, seçilmemiş olan hiç kaydedilmez. Murat Bey'in iki kutulu tablosunda "emin değilim" diye bir seçenek yoktu; teknisyenin tereddüdü, verilen etiketin içinde kayboldu. Model o örneği de öteki örnekler kadar kesin bir bilgi olarak okur. Bir kayıt neyi saklıyorsa model onu bilir; neyi atmışsa model onun var olduğunu da bilmez.

Uygulama

Bu derste aynı nesneyi iki kez kaydedip iki kaydın nerede ayrıldığını bulacaksın. Bir cetvele, bir kâğıda ve evdeki beş benzer nesneye ihtiyacın var: beş mandalina, bir saksı bitkisinin beş yaprağı ya da beş kalem olabilir.

Kuraldan sonra ölçüm farklarının çoğu kapanırsa farkın kaynağı nesne değil ölçme biçimiydi. Etiketlerdeki ayrılık kuraldan sonra da kalıyorsa, o nesneler iki kutunun sınırında duruyordur; bir modelin en çok zorlanacağı örnekler de onlardır.

Defter: "Bir nesne, iki kayıt" adlı sayfaya altı sütunlu tabloyu kopyala; altına yazdığın ölçüm kuralını, etiket tanımını ve kuraldan sonra kapanan fark sayısını ekle. Son satıra, ayrılığın en inatçı kaldığı nesneyi ve neden orada kaldığını düşündüğünü tek cümleyle yaz.

Hata köşesi

Sorumluluk

Bir veriyle model eğitmeye ya da bir modeli o veriyle sınamaya karar veren kişi, o verinin nasıl, kim tarafından ve ne zaman kaydedildiğini doğrulamaktan sorumludur. Etiket tanımını yazmak, sınırdaki örneklerin hangi kutuya gireceğine karar vermektir; bu iş tedarikçiye ya da etiketleyiciye bırakılamaz, Murat Bey'in yaptığı gibi işin sahibi tarafından yazılı hâle getirilir. Kayıt hatasının zararı en çok sınırda duranlara dokunur: tansiyonu yuvarlanan hastaya, kazası yanlış güne yazılan sürücüye, etiketi tartışmalı kutuyu üreten banda.

Kapanış

1. Veri dünyanın kendisi değil, onun bir kaydıdır; neyin ölçüleceği, nasıl ve kimin tarafından ölçüleceği ve hangi biçimde yazılacağı kararları kaydı biçimlendirir.
2. Etiket bir ölçüm değil bir yargıdır; büyük ve özenle hazırlanmış sınama setlerinde de etiketlerin bir kısmı hatalıdır ve dikkatli uzmanlar bile her dört örnekten yaklaşık birinde ilk bakışta ayrışabilir.
3. Sistematik kayıt hatası veri büyüdükçe kaybolmaz, model onu öğrenir; onu yakalamak için kaydın arkasına bakılır: aynı şeyi iki kez ölçtürmek, kaydı kimin ve ne zaman girdiğini sormak.

Üç soru

1. Dördüncü saksının üç ölçümünden hangisi sistematik bir hata taşıyordu ve bu hata öğrencinin kendi tablosunda neden görünmüyordu?
2. Bir modelin sınama setindeki başarısı yüksek, ama setin etiketlerinin yüzde altısı hatalı. Bu başarı oranı neyi ölçüyor?
3. Elif'in pazartesi günleri gördüğü fazlalık dünyadan mı, kayıttan mı geliyordu, ve bunu ayırt etmek için hangi bilgiye bakması gerekti?

Yanıtlar

1. Mert'in sekizi: cetveli saksının kenarına dayadığı için her ölçümde toprak ile kenar arasındaki bir buçuk santimi eksik yazdı. Hata her hafta aynı olduğu için kendi satırındaki büyüme farkları doğru görünür; ancak tablosu başka grupların ölçümleriyle birleştirildiğinde fide olduğundan kısa çıkar.
2. Modelin tahminlerinin sınama setindeki etiketlerle ne kadar örtüştüğünü ölçer. Hatalı etiketli örneklerde, hatayı tekrarlayan model ödüllendirilir ve doğruyu söyleyen cezalandırılır; bu yüzden oran dünyadaki başarının yerine geçmez. Model seçilmeden önce en azından sınama etiketlerinin elden geçirilmesi gerekir.
3. Kayıttan geliyordu. Bazı acenteler "hasar tarihi" alanına ihbarın tarihini yazıyor, hafta sonu kazaları pazartesi bildiriliyordu. Elif bunu dosyaların giriş kayıtlarına, yani kaydı kimin ve hangi gün girdiğine bakarak ayırt etti.

Sonraki derse köprü

Bu derste kaydın her zaman bir insan kararıyla doğduğunu gördük; ama kayıtlarımızın çoğu sayı değildi. Elçin'in "sağlıksız"ı bir kelime, Murat Bey'in teknisyenlerinin baktığı şey bir fotoğraf, Dr. Seda Hanım'ın hasta notları uzun metinlerdi. Bir model ise yalnız sayılarla hesap yapar. Ders 3.2, Sayıya çevirmek, bir metnin, bir görüntünün ve bir sesin sayılara nasıl dönüştüğünü ve bu dönüşümde yeni hangi kararların verildiğini soruyor.