Yanıtlamama, sosyal beğenirlik ve kapsama hatası

Açılış sahnesi

Sahanın dördüncü haftasında öğrenci veri tablosunu açıyor ve boş satırları sayıyor. Kurayla seçtiği hanelerin bir kısmında üç kez gidilmesine rağmen kimse kapıyı açmamış. Bir kısmı kapıda "istemiyoruz" demiş. Bir kısmı görüşmeye başlamış ama sağlık soruları gelince "yeter, yoruldum" diyerek bırakmış. Tamamlanan görüşmelerde de gelir sorusu neredeyse hep boş.

Öğrenci anketörlerin notlarını okuyor. Bir anketör şöyle yazmış: "Kapıyı açmayan evlerden birinde komşu, büyükannenin sabahtan akşama iki torunla uğraştığını, kapıya bakacak hâli olmadığını söyledi." Bir başka not: "Yeni sitedeki hanelere güvenlik görevlisi izin vermedi." Öğrenci bir şeyi fark ediyor. Görüşmeyi en çok kaçıranlar, belki de bakım yükünü en ağır taşıyanlar.

Tamamlanan görüşmelere bakınca başka bir örüntü görüyor. Neredeyse hiçbir büyükanne torun bakımından şikâyet etmiyor. "Allah'a şükür", "torun sevgisi başka", "bizim görevimiz" gibi ifadeler sık sık tekrar ediyor. Aynı kadınların bir kısmı, anketör çıkarken kapıda "aslında çok yoruluyorum ama söylenmez ki" demiş.

Bu derste ne olacak

Boş satırlar, anketör notları ve kapıda fısıldanan cümleler bu kurgunun sahadaki halkaları. Gerçek anketlerde de bir örneklemin kâğıt üzerindeki hâli ile sahadan dönen hâli arasında her zaman bir fark vardır. Önceki ders veri toplama kiplerini, kip etkisini ve anketör etkisini anlattı. Kapanışında görüşmeyi reddedenler ve iyi görünmek isteyenler üzerine bir soru kaldı.

Bu ders bir anketin sonucunu sessizce saptırabilecek üç sorunu bir araya getiriyor. Kapsama hatası, örnekleme çerçevesinin hedef evrenle örtüşmemesinden gelir ve kursun ilk dersinde bu derse bırakılmıştı. Yanıtlamama, seçilen kişilerin bir kısmından hiç ya da eksik veri alınamamasıdır. Sosyal beğenirlik ise alınan cevapların toplumsal olarak onaylanan yöne kaymasıdır. Üçü de örneklemin büyüklüğünden bağımsız çalışır.

Sıfır noktası — Kâğıttaki örneklem, sahadaki örneklem

Kursun ilk derslerinde hedef evren, çerçeve ve örneklem tasarlanırken her şey kâğıt üzerindeydi. Sahaya çıkıldığında bu tasarım üç yerden aşınabilir. Çerçeve bazı kişileri hiç içermeyebilir. Seçilen kişilerin bir kısmına ulaşılamayabilir ya da onlar katılmayı reddedebilir. Katılanlar ise bazı sorulara gerçeği değil, söylenmesi uygun olanı cevap olarak verebilir.

Mekanizma — Kimler cevap vermiyor, kimler ne diyor

Seçilen kişilerden hiç veri alınamaması, anket araştırmasının en yaygın sorunlarından biridir.

Yanıt oranı tek başına sonuçların güvenilirliğini göstermez. Asıl soru, cevap vermeyenlerin cevap verenlerden farklı olup olmadığıdır.

Bazı katılımcılar görüşmeyi tamamlar ama belirli sorulara cevap vermez.

Cevap verenlerin verdiği cevaplar da her zaman gerçeği yansıtmaz.

Kuramsal mercekler

Anket hatalarını tek bir tabloda toplayan yaklaşım, bir sonucu gerçeklikten koparan kaynakları iki büyük aileye böler. Bir grup, kimin temsil edildiğiyle ilgilidir: kapsama, örnekleme ve yanıtlamama. Öbür grup, temsil edilenlerin cevaplarının ne kadar doğru ölçüldüğüyle ilgilidir: soru ifadesi, kip etkisi, anketör etkisi ve sosyal beğenirlik. Bir anketin güvenilirliği, bu hataların hepsinin birlikte değerlendirilmesiyle anlaşılır.

Toplumsal bir bakış ise sosyal beğenirliği yalnız bir ölçüm hatası olarak değil, bir toplumsal veri olarak da okur. Büyükannelerin torun bakımından şikâyet etmemesi, kadınların bakım işine dair taşıdığı normların bir göstergesidir. Hangi cevabın söylenebilir, hangisinin söylenemez olduğu, o toplumda neyin iyi, neyin ayıp sayıldığını gösterir. Bu açıdan sosyal beğenirlik, anketin ölçmek istediği şeyi gizlerken başka bir şeyi, normların gücünü, açığa çıkarır.

Ölçek

Bir anketteki katılım, birkaç farklı noktada kaybolabilir. Bazı birimler çerçevede hiç yer almaz ve örnekleme girme şansı olmaz. Bazıları çerçevede yer alır ama onlara ulaşılamaz. Bazılarına ulaşılır ama görüşmeyi reddeder. Bazıları görüşmeye başlar ama yarıda bırakır. Bazıları görüşmeyi tamamlar ama belirli soruları boş bırakır. Bu noktaların her biri farklı nedenlerden kaynaklanır ve farklı düzeltme yolları gerektirir.

Bu kayıp noktalarını ayrı ayrı kaydetmek, hangi grubun nerede kaybolduğunu görmeyi sağlar. Tek bir "yanıt vermedi" kategorisi, farklı nedenleri birbirine karıştırır ve düzeltme yollarını gizler.

Türkiye bağlamı ve karşılaştırma

Türkiye'de kentlerde yaygınlaşan kapalı siteler ve güvenlik görevlisi bulunan apartmanlar, anketörlerin hanelere ulaşmasını zorlaştırabilir. Telefon dolandırıcılığı endişesi ve yabancılara kapı açmama alışkanlığı da ulaşılamama ve ret oranlarını artırabilir. Bu engeller özellikle belirli gelir gruplarında ve yaşlı nüfusta yoğunlaşıyorsa, yanıtlamama rastgele olmaktan çıkar.

Hassas soruların hangileri olduğu da toplumdan topluma değişir. Türkiye'de gelir, aile içi ilişkiler ve dindarlık gibi konular sosyal beğenirliğe ve madde yanıtlamaya daha açık olabilir. Böyle sorularda katılımcının cevabını anketöre söylemeden kâğıda ya da ekrana işaretleyebileceği bir bölüm, dolaylı bir soru ve güven veren kısa bir giriş cevapların kalitesini artırabilir. Giriş, cevapların kimseyle paylaşılmayacağını ve doğru ya da yanlış cevap olmadığını açıkça söylemelidir. Bu tür küçük düzenlemeler, özellikle yaşlı ve kırılgan katılımcılarla yapılan görüşmelerde, iyi görünme kaygısını tamamen ortadan kaldırmasa da belirgin biçimde hafifletebilir.

Bu bilgiyi nasıl biliyoruz?

Yanıtlamama yanlılığını doğrudan ölçmek zordur, çünkü yanıt vermeyenlerin cevaplarını bilemeyiz. Araştırmacılar bu yüzden dolaylı yollar kullanır. Çerçevede ya da resmî kayıtlarda bulunan bilgiler, örneğin yaş, mahalle ya da hane büyüklüğü, yanıt verenlerle vermeyenler arasında karşılaştırılır. Yanıt vermek için daha çok çaba gerektiren katılımcıların cevapları, kolay ulaşılanlarınkiyle karşılaştırılır.

Yaygın hatalar

Aklında kalsın

1. Kapsama hatası, çerçevenin hedef evrenle örtüşmemesinden doğar ve örneklem büyütülerek giderilmez.
2. Birim yanıtlamama, seçilen bir birimden hiç veri alınamamasıdır.
3. Yanıtlamama yanlılığı, yanıt vermeyenlerin ölçülen özellikte yanıt verenlerden farklı olmasından doğar.
4. Yanıt oranı tek başına yeterli değildir, belirleyici olan yanıt vermeyenlerin kim olduğudur.
5. Madde yanıtlamama, hassas sorularda belirli grupların sessizce kaybolmasına yol açabilir.
6. Sosyal beğenirlik, cevapları toplumsal olarak onaylanan yöne kaydırır ve bir normun gücünü gösterir.
7. Katılımın kaybolduğu noktalar ayrı ayrı kaydedilmelidir, çünkü her biri farklı bir düzeltme gerektirir.

Sonraki derse köprü

Sahanın ortasında karşılaştığı sorunlar öğrenciye bir şeyi öğretiyor: bu sorunların çoğu, sahaya çıkmadan önce yakalanabilirdi. Çift anlamlı sorular, uzun ölçekler, yaşlı kadınların anlamakta zorlandığı seçenekler, anketörlerin farklı okuduğu sorular ve kapıda reddedilen görüşmeler küçük bir deneme uygulamasında görünür olabilirdi. Öğrenci bir sonraki anketi için sahaya çıkmadan önce soruları katılımcılarla birlikte sınamak, anketörleri eğitmek ve sahadaki çalışmayı düzenli olarak denetlemek istiyor. Bilişsel test, pilot ve saha kalite kontrolü, bir anketin sahaya hazır olup olmadığını ve sahada doğru yürüyüp yürümediğini sınamanın yollarını ele alıyor.