Evren, örneklem, değişken ve gösterge

Açılış sahnesi

Bir ilçe belediyesi memnuniyet ölçümü yaptırıyor. Yöntem basit: çağrı merkezi kayıtlarındaki numaralar aranıyor ve kısa bir anket uygulanıyor.

Çok sayıda kişiye ulaşılıyor. Sonuçlar olumlu çıkıyor. Rapor meclise sunuluyor.

Bir üye tek bir soru soruyor: "Bu numaralar nereden geldi?"

Cevap veriliyor: daha önce belediyeyi arayan kişilerin kayıtlarından.

Odada kısa bir sessizlik oluyor.

Aranan herkes, bir zamanlar belediyeyi arayan, hattı bulan ve kaydı tutulan biri. Arayıp ulaşamayan, hiç aramayan ve kayıtlı numarası bulunmayanlar bu listede yok.

Rapor yanlış hesaplanmadı. Rapordaki sayılar o liste hakkında doğru.

Liste ilçe değil.

Bu derste ne olacak

Belediye, çağrı kayıtları ve meclis üyesi kurgu. Sahne şunu görünür kılıyor: bir ölçümün doğru yapılması, doğru şey hakkında olduğu anlamına gelmiyor.

Geçen dersin sonunda elimizde düzgün kurulmuş bir soru vardı; sınırları çizilmiş, kimin hakkında olduğu belli ve çürütülebilir.

Soruyu yanıtlanabilir kılmak için üç karar daha gerekiyor.

Hangi topluluk hakkında konuşuyoruz? Hepsine tek tek ulaşamayacağımıza göre kimlerle görüşeceğiz ve o küçük grup bütünün yerine geçebilir mi? Bir de soyut bir ifadeyi, herkesin aynı biçimde cevaplayabileceği somut bir şeye nasıl çevireceğiz?

Bu derste dört kavramı sırayla kuracağız ve aralarına bir beşincisini ekleyeceğiz. O beşincisi, açılış sahnesindeki hatanın tam olarak durduğu yer.

Sıfır noktası — hakkında konuştuğumuz topluluk

Her araştırma bir iddiayı belirli bir topluluk hakkında kurar. O topluluğun sınırı yazılmadığında iddia havada kalır.

Mekanizma — elimizdeki liste

Evren tanımlandıktan sonra ona ulaşmak gerekiyor ve burada, ders kitaplarında çoğu zaman hızla geçilen bir ara basamak var.

Buradan dersin en pratik kuralı çıkıyor ve sezgiye aykırı.

Çerçeve eksikse, örneklemi büyütmek durumu düzeltmez. Daha çok kişiye ulaşmak, aynı listeden daha çok kişiye ulaşmak demektir; sonuç daha kesin çıkar ve aynı yöne yanlış olmaya devam eder. Kesinlik ile doğruluk aynı şey değildir.

Neyi ölçeceğiz

Kimlere sorulacağı çözüldükten sonra geriye en zor kısım kalıyor: soyut bir kavramı sayılabilir bir şeye çevirmek.

Kuramsal mercekler

Bir kavram nasıl ölçülebilir hâle getirilir? Bu soruda birbiriyle yarışan üç tutum bulunuyor ve hangisinin benimsendiği bulgunun anlamını değiştiriyor.

Bir duruş kavrama sadakati önceler. Buradaki ilke, göstergenin kavramın anlamını olabildiğince eksiksiz karşılaması; gerekirse ölçmesi zor ve pahalı bir yol seçilir. Bu duruşun gücü, bulgunun gerçekten iddia edilen şey hakkında olmasıdır. Zorlandığı yer, sadık göstergelerin çoğu zaman az sayıda birimde ölçülebilmesi ve karşılaştırmanın daralmasıdır.

İkinci duruş ölçülebilirliği önceler. Bu yaklaşımda kolay, ucuz ve her yerde aynı biçimde toplanabilen göstergeler seçilir; kavram gerekirse bu göstergenin karşıladığı kadarıyla daraltılır. Verdiği şey karşılaştırılabilirliktir; aynı gösterge farklı yerlerde ve yıllarda tekrarlanabilir. Açıkta bıraktığı nokta, zamanla kavramın yerini göstergenin almasıdır.

Üçüncü duruş ölçme işleminin kendisine bakar. Bu okumaya göre bir kavram, ölçülmeye başlandığı andan itibaren o ölçümün tarif ettiği şeye dönüşür; kurumlar göstergeye göre karar verdikçe insanlar da göstergeye göre davranmaya başlar. Bu duruşun değeri, ölçmenin tarafsız bir kayıt işlemi olmadığını göstermesidir. Zayıf tarafı, bu yönde fazla ileri gidildiğinde hiçbir ölçümün savunulamaz hâle gelmesidir.

Ölçek

Aynı üç karar, çalışmanın büyüklüğüne göre bambaşka güçlükler üretiyor.

Küçük bir çalışmada evren dar ve çerçeve çoğu zaman tamdır; bir sınıfın, bir işyerinin ya da bir apartmanın tam listesi elde bulunabilir. Buradaki asıl güçlük göstergedir: az sayıda birimde ölçüm hatası bütün tabloyu değiştirir ve tek bir yanlış anlaşılmış soru sonucu taşır.

Bir kurum ölçeğinde çerçeve genellikle kurumun kendi kaydıdır ve o kayıt kurumun görmek istediği kadarını içerir. Kayıt dışında kalanlar araştırmaya da girmez. Bu ölçekte veri bol, çerçeve sorunu ise en görünmez hâlindedir; kaydın kendisi hazır geldiği için sorgulanmadan kullanılır.

Ülke ölçeğinde çerçeve büyük idari kayıtlardan gelir ve kapsama sorunu artık bir yöntem tartışması hâline gelir. Kimin kaydının güncel olduğu, kimin adresinin değiştiği ve kimin hiçbir listede bulunmadığı bu ölçekte doğrudan bulguyu etkiler ve düzeltme yöntemleri ayrı bir uzmanlık alanıdır.

Bu bilgiyi nasıl biliyoruz?

Bir örneklemin bütünü temsil edip etmediği, sonucun kendisine bakılarak anlaşılmaz; ayrı sınamalar gerektirir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de çerçeve seçimi, çalışmanın kimi göreceğini belirgin biçimde belirliyor.

Adres temelli kayıtlar geniş bir kapsam sağlıyor ve kendi güçlüğünü de taşıyor: iç göçün yoğun olduğu ve adres değişikliğinin sık yaşandığı yerlerde kaydın güncelliği düşüyor. Kaydı güncel olmayan haneler, yerleşik olmayan ve çoğu zaman en kırılgan durumdaki haneler oluyor; yani eksiklik rastgele değil yönlü.

İkinci hat, telefon ve çevrimiçi panellere dayanan hızlı ölçümlerin yaygınlığı. Bu yöntemler ucuz ve hızlı, çerçeveleri ise kendi kendini seçen gruplardan oluşuyor. Sonuçlar dar aralıklarla sunulduğunda kesinlik izlenimi veriyor ve o kesinlik, seçilme şansının bilinmediği bir listeden geliyor.

Üçüncüsü gösterge seçiminde veri kolaylığının belirleyici olması. Kolay toplanabilen birkaç gösterge çok sayıda çalışmada tekrarlandıkça, kavram zamanla o göstergelerin karşıladığı kadarına daralıyor ve daralma tartışılmadan yerleşiyor.

Karşılaştırma, çerçevenin kurumsal bir tercih olduğunu gösteriyor. Kimi ülkelerde sürekli güncellenen nüfus kayıtları örnekleme çerçevesi olarak kullanılıyor ve seçilme şansı herkes için hesaplanabiliyor; orada tartışma kapsamada değil ölçümde yürüyor. Kimi ülkelerde böyle bir kayıt bulunmuyor ve araştırmalar telefon ya da alan taramasına dayanıyor; orada her çalışma kendi kapsama sorununu ayrıca çözmek zorunda. Aynı soru, iki düzenlemede iki ayrı güvenilirlikte yanıtlanıyor.

Yaygın hatalar

Aklında kalsın

Bir ölçüm sonucunu okurken sırayla sorulacak yedi soru.

1. Evren nasıl tanımlanmış: hangi birimler, hangi yer, hangi zaman aralığı?
2. Hangi listeden seçim yapıldı ve o listede baştan kimler yok?
3. Seçim nasıl yapıldı; kişilerin seçilme şansı biliniyor mu, yoksa katılanlar kendi kendini mi seçti?
4. Katılımcı sayısı büyükse bu kesinlik verir, doğruluk vermez; kesinlik ile doğruluk ayrı şeylerdir.
5. Hangi özellikler değişken olarak ele alınmış; bu tasarımda sabit kalan bir şey açıklama yapamaz.
6. Soyut kavramın yerine hangi gösterge konmuş ve bu seçim gerekçelendirilmiş mi?
7. Ulaşılamayanlar ve reddedenler kimlerdi; bu eksiklik rastgele mi, yoksa belirli bir yöne mi eğilimli?

Sonraki derse köprü

Bu derste kimlere sorulacağını ve neyin ölçüleceğini kurduk. Elimizde artık bir liste, bir seçim ve birkaç gösterge var.

Anket uygulanıyor ve cevaplar geliyor. Şimdi masada bir yığın var: binlerce satır, her satırda bir kişi ve her sütunda bir cevap.

Bu yığın kendi başına hiçbir şey söylemiyor.

Onu konuşturmak için özetlemek gerekiyor ve özetleme masum bir işlem değil. Bir yığını tek bir sayıya indirdiğinde, o sayı yığındaki bazı şeyleri öne çıkarır ve bazılarını tamamen gizler. Aynı veriden hesaplanan iki farklı özet, birbirine hiç benzemeyen iki tablo gösterebilir.

Açılış sahnesindeki belediye raporunun sayıları da böyle üretilmişti. Hesaplar doğruydu; hangi hesabın seçildiği ise hiç tartışılmamıştı.

Sıradaki ders özetleme araçlarını ele alıyor. Bir dağılımı tek bir değerle anlatmanın yollarını, her yolun neyi öne çıkarıp neyi sakladığını ve bir özetin hangi durumlarda tabloyu yanlış anlattığını konuşacağız.