Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.
Bir veri dosyasını açtığında hatırlaman gereken yedi şey.
- Metinde anlam sıradan, veride konumdan gelir; bu yüzden bir satırı silmek bir cümleyi silmeye benzemez.
- Düz metin biçimi her yerde açılır, uzun süre okunur ve içinde ne varsa gösterir; kapalı biçimler daha çok taşır ve o programa bağlı kalır.
- Bir tabloda her satır bir birimdir, her sütun o birimin bir özelliğidir, her hücrede tek bir değer durur.
- Üstveri tablonun künyesidir; sütunların ne anlama geldiği, kimlerin kapsandığı ve boş hücrenin ne demek olduğu orada yazar.
- Veri biçim değiştirirken sessizce bozulur — baştaki sıfırlar, tarihler, ondalık ayırıcı, karakter kodlaması — ve kontrol gözle değil, bilinen bir toplamla yapılır.
- Hangi biçimde yayımlandığı, verinin kimin kullanabileceğini belirler; resim olarak paylaşılan tablo okunabilir ve kullanılamaz.
- Bir tablonun sütunları veri toplanmadan önce verilmiş kararlardır; veri kümesine "ne diyor" kadar "neyi sorabilecek biçimde kurulmuş" diye de bakılır.
Açılış sahnesi
Bir kurum bir veri dosyası yayımlıyor. Dosya herkese açık, indirilebiliyor ve içinde aranan bilgi var.
Bir araştırmacı dosyayı indiriyor ve açtığında bir sorun görmüyor. Çalışmaya başlıyor.
Birkaç gün sonra bir kontrol yapıyor: kurumun kendi raporundaki bir toplam ile kendi hesapladığı toplam uyuşmuyor.
Fark, dosyadaki bir sütunda. Sütunda posta kodları var ve bazıları sıfırla başlıyordu; dosya açılırken bu sıfırlar düşmüş, dört haneli kodlar üç haneli hâle gelmiş ve iki farklı bölge tek bir bölge gibi toplanmıştı.
Veriyi kimse bozmadı. Dosya bir biçimden başka bir biçime geçerken bir kural uygulandı ve o kural, sayı gibi görünen bir şeyi sayı sandı.
Bu derste ne olacak
Bu kurs bir malzeme değişikliğiyle başlıyor. Buraya kadar cümlelerle çalıştın; şimdi hücrelerle çalışacaksın ve hücre, cümleden farklı bir şey.
İlk soru şu: indirdiğin dosyanın içinde tam olarak ne duruyor? Cevap "sayılar" değil — bir yapı duruyor ve o yapının kuralları dosya biçimine gömülü.
Sonra tablonun kendisine bakacağız. Bir tablonun iyi ya da kötü kurulmuş olması, o tabloyla ne yapabileceğini doğrudan belirliyor ve bu, estetik bir mesele değil.
Ardından hiçbir tablonun kendi başına söyleyemediği şeye geleceğiz: sütunların ne anlama geldiği tablonun dışında bir yerde yazılıdır ve o yer kaybolduğunda tablo okunamaz hâle gelir.
Kapanışta bir soru soracağız: bir dosyanın hangi biçimde yayımlandığına kim karar veriyor ve bu karar kimin işini kolaylaştırıyor?
Aşağıdaki kurumlar, dosyalar ve ekipler kurgudur; biçim kararlarının sonuçlarını tek bir okumada yan yana koymak için düzenlendiler.
Sıfır noktası — dosya bir kap, veri bir yapı
Bir metin dosyası ile bir veri dosyası aynı şey değil. İkisi de bilgisayarda durur ve içlerindeki şeyin düzeni bambaşkadır.
Metinde anlam sıradan gelir: cümleler birbirini izler ve okuyan kişi bağlamı kurar. Veride anlam konumdan gelir: bir hücrenin ne anlama geldiğini hangi satırda ve hangi sütunda durduğu belirler.
Bu fark tek başına şunu açıklıyor: bir tabloda bir satırı silmek, bir metinde bir cümleyi silmeye benzemez. Cümle gittiğinde metin eksilir; satır gittiğinde tablonun anlattığı bütün topluluk değişir.
Yaygın yanlışVerinin dosyanın içinde tarafsız biçimde durduğu sanılır.
Dosya bir kaptır ve her kabın kendi kuralları vardır: neyi saklayabildiği, neyi saklayamadığı ve neyi sessizce değiştirdiği. Aynı veri iki farklı kapta iki farklı şey olabilir.
Mekanizma — açık biçim ile kapalı biçim
Veri dosyalarının en temel ayrımı burada.
Karşısında kapalı biçimler duruyor: belirli bir programın kendi dosyası. Bu dosyalar formül, renk, birden çok sayfa ve biçimlendirme taşıyabilir ve bunları taşıdıkları için de o programa bağlıdırlar.
Ayrımın pratik sonucu üç yerde.
Birincisi erişim: düz metin dosyası her yerde açılır, kapalı biçim o programa sahip olmayı gerektirir.
İkincisi kalıcılık: bugünün programı yarın değişebilir ve kapalı biçimli eski dosyalar okunamaz hâle gelebilir. Düz metin dosyaları on yıllar sonra da açılır.
Üçüncüsü şeffaflık: düz metin dosyasında ne varsa görünür. Kapalı biçimde bir hücrede görünen sayı, arkada duran bir formülün sonucu olabilir ve o formül hatalıysa hata görünmez.
Yaygın yanlışDüz metin biçiminin ilkel olduğu sanılır.
Taşıdığı şeyin az olması bir eksiklik değil bir tasarım: taşımadığı her şey, bozulabilecek bir şey daha az demektir. Ciddi veri paylaşımı bu yüzden çoğunlukla düz metin biçimiyle yapılır.
Bir tablo nasıl kurulur
Bir tablonun kullanılabilir olması, güzel görünmesiyle değil, bir kurala uymasıyla ilgili.
Kurallar üç tane ve üçü de bu birimden çıkıyor.
Birincisi: her satır bir birimdir. İkincisi: her sütun o birimin bir özelliğidir. Üçüncüsü: her hücrede tek bir değer durur.
Üçüncü kural en sık ihlal edileni. Bir hücreye virgülle ayrılmış üç şey yazıldığında o hücre okunabilir olmaktan çıkar; bilgisayar için orada üç şey değil, içinde virgül geçen tek bir metin vardır.
Yaygın yanlışTabloya başlık, boş satır ve açıklama eklemenin okumayı kolaylaştıracağı sanılır.
Bunlar insana kolaylık sağlar ve makinenin okumasını bozar: birleştirilmiş hücreler, araya sıkıştırılmış ara toplamlar ve üstteki açıklama satırları, tablo bir programa alındığında yapıyı bozar. Açıklama tabloya değil, tablonun yanındaki belgeye yazılır.
Tablonun söyleyemediği
Bir tabloya bakarak öğrenemeyeceğin şeyler var ve bunlar tablonun en önemli kısmı.
Üstveri olmadan bir tablo sayı yığınıdır. Bir sütunda "3" yazması hiçbir şey söylemez; o üçün kaç kişi mi, kaç yıl mı, hangi ölçekte bir derece mi olduğu tablonun dışında yazılıdır.
Eksik değerler ayrıca dikkat ister. Bir hücre boşsa üç ayrı şey anlamına gelebilir: soru sorulmadı, soruldu ve cevaplanmadı, ya da cevap "sıfır" idi. Üçü bambaşka şeylerdir ve hangisi olduğu yalnız üstveride yazar.
Yaygın yanlışSütun adının sütunun tanımı olduğu sanılır.
Ad bir kısaltmadır ve çoğu zaman yanıltır; aynı ad farklı dosyalarda farklı şeyleri gösterebilir. Tanım her zaman üstveride aranır ve bulunamıyorsa dosya, ne kadar düzgün görünürse görünsün eksiktir.
Biçim değiştirirken kaybolanlar
Veri bir biçimden ötekine geçerken sessizce değişebilir ve açılıştaki sahne bunun bir örneğiydi.
Dört yerde sık görülür.
Baştaki sıfırlar: sayı gibi görünen kodlarda baştaki sıfırlar düşer.
Tarihler: aynı tarih farklı yerlerde farklı sırayla yazılır ve gün ile ay yer değiştirebilir.
Ondalık ayırıcı: virgül ile nokta arasındaki fark, bir sayıyı bin katına çıkarabilir ya da bölebilir.
Karakter kodlaması: Türkçe harfler bozuk karakterlere dönüşür ve bu, gözle en kolay görülen kayıptır.
Yaygın yanlışGözle kontrol etmenin biçim kayıplarını yakalayacağı düşünülür.
Kayıpların çoğu makul görünen değerler üretir: bir tarih hâlâ bir tarihtir, bir sayı hâlâ bir sayıdır. Kontrol, tek tek hücrelere bakarak değil, bilinen bir toplamla karşılaştırarak yapılır.
Bu bilgiyi nasıl biliyoruz?
Veri dosyalarında ne olup bittiği de incelenebilir.
Biçim bir erişim kararıdır
Buraya kadar teknik konuştuk. Şimdi teknik olmayan kısma geliyoruz ve dersin asıl sorusu burada.
Bir dosyanın hangi biçimde yayımlandığı bir tercih. O tercih, verinin kimin tarafından kullanılabileceğini belirliyor.
Kapalı biçimde yayımlanmış bir veri kümesi teknik olarak herkese açık, pratikte belirli bir yazılıma sahip olanlara açık. Görüntü olarak paylaşılmış bir tablo — yani içinden değer alınamayan bir resim — hiç kimseye açık değil; okunabilir ve kullanılamaz.
Üstverisi yayımlanmamış bir veri kümesi ise yalnız onu üretenler tarafından kullanılabilir, çünkü sütunların ne anlama geldiğini onlar biliyor.
Bir katman daha var ve dersin en kritik noktası bu: bir tablonun sütunları birer karar.
Hangi özelliklerin kaydedileceği, hangi kategorilerin kullanılacağı ve bir kişinin hangi kutuya yazılacağı, veri toplanmadan önce verilmiş kararlar. Bir sütun kaç seçenek sunuyorsa dünya o kadar seçenekten ibaret sayılır ve seçeneklerin dışında kalan herkes ya bir kutuya sıkıştırılır ya da "diğer" olur.
Yaygın yanlışVerinin olguyu olduğu gibi kaydettiği sanılır.
Veri bir kayıttır ve her kayıt bir sınıflandırmadır: neyin ölçüleceği, hangi kategorilerle ölçüleceği ve neyin hiç sorulmayacağı önceden kararlaştırılır. Bir veri kümesini okurken sorulacak soru yalnız "ne diyor" değil, "neyi sorabilecek biçimde kurulmuş".
Yaygın hatalar
Yaygın yanlışBüyük veri kümesinin daha güvenilir olduğu sanılır.
Boyut, kapsamla aynı şey değil; büyük bir dosya dar bir grubu çok ayrıntılı kaydetmiş olabilir. Güvenilirliği belirleyen şey satır sayısı değil, kimlerin kapsandığı ve bunun üstveride yazılı olması.
Yaygın yanlışDosyayı düzeltirken orijinali üzerine yazmanın sorun olmadığı düşünülür.
İndirilen dosya el sürülmeden saklanır ve bütün düzeltmeler bir kopya üzerinde yapılır. Orijinal kaybolduğunda hangi değişikliğin sende hangisinin kaynakta olduğu bir daha ayrılamaz.
Yaygın yanlışBir tabloyu "temizlemenin" tarafsız bir işlem olduğu sanılır.
Hangi satırların çıkarılacağı, hangi değerlerin düzeltileceği ve hangi kategorilerin birleştirileceği birer karardır ve sonucu etkiler. Bu yüzden yapılan her düzeltme ayrıca yazılır; işlemin kendisi de veri kadar kayda değer.
Yaygın yanlışSütun adlarının serbestçe değiştirilebileceği düşünülür.
Ad değiştirmek dosyayı üstverisinden koparır; sonradan bakan kişi hangi sütunun hangi tanıma karşılık geldiğini bulamaz. Ad değişecekse eski ad ile yeni ad bir yerde eşleştirilir.
Aklında kalsın
Bir veri dosyasını açtığında hatırlaman gereken yedi şey.
- Metinde anlam sıradan, veride konumdan gelir; bu yüzden bir satırı silmek bir cümleyi silmeye benzemez.
- Düz metin biçimi her yerde açılır, uzun süre okunur ve içinde ne varsa gösterir; kapalı biçimler daha çok taşır ve o programa bağlı kalır.
- Bir tabloda her satır bir birimdir, her sütun o birimin bir özelliğidir, her hücrede tek bir değer durur.
- Üstveri tablonun künyesidir; sütunların ne anlama geldiği, kimlerin kapsandığı ve boş hücrenin ne demek olduğu orada yazar.
- Veri biçim değiştirirken sessizce bozulur — baştaki sıfırlar, tarihler, ondalık ayırıcı, karakter kodlaması — ve kontrol gözle değil, bilinen bir toplamla yapılır.
- Hangi biçimde yayımlandığı, verinin kimin kullanabileceğini belirler; resim olarak paylaşılan tablo okunabilir ve kullanılamaz.
- Bir tablonun sütunları veri toplanmadan önce verilmiş kararlardır; veri kümesine "ne diyor" kadar "neyi sorabilecek biçimde kurulmuş" diye de bakılır.
Sonraki derse köprü
Bu derste elindeki dosyanın nasıl kurulduğuna baktık. Dosya belliydi, kaynağı belliydi ve indirdiğin yer belliydi.
Günlük hayatta karşılaştığın bilginin büyük kısmı böyle gelmiyor. Bir soru soruyorsun ve karşına sıralanmış sonuçlar çıkıyor; kimin hazırladığı, neye göre sıralandığı ve neden o sırada durduğu görünmüyor.
Sıradaki derste o listeye bakacağız. Bir arama sonucunun neden o sırada olduğunu, bir web sayfasının kim tarafından ve hangi amaçla yazıldığını nasıl anlayacağını, reklam ile içeriğin nerede ayrıldığını ve bir sitenin güvenilirliğini görünüşünden bağımsız olarak nasıl değerlendireceğini kuracağız. HAZ-004'te akademik kaynaklar için kurduğumuz ölçütlerin, kaynağın kendisini gizlediği bir ortamda nasıl çalıştığını göreceğiz.