Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.
- Bilişsel görüşme, soruların katılımcının zihninde nasıl anlaşıldığını ve cevaba nasıl varıldığını ortaya çıkarır.
- Sesli düşünme, katılımcının bir soruyu cevaplarken aklından geçenleri doğrudan görmeyi sağlar.
- Belirsiz sözcükler ve katılımcının hayatında karşılığı olmayan kavramlar, bilişsel görüşmelerde görünür hâle gelir.
- Anketör kılavuzu, farklı anketörlerin aynı soruyu aynı biçimde sormasını sağlar.
- Süreç verisi, sahanın nasıl yürüdüğünü izlemenin ve sorunlu görüşmeleri fark etmenin yoludur.
- Uydurma görüşmeler verinin güvenilirliğini bozar ve geri arama denetimleriyle yakalanabilir.
- Kalite denetimi sahadan önce, saha boyunca ve sahadan sonra sürer ve her evre farklı sorunları yakalar.
Açılış sahnesi
Öğrenci bu kez sahaya çıkmadan önce oturup bekliyor. Karşısında, örneklem dışından bulunmuş, torununa bakan yaşlı bir kadın var. Masada formun yeni taslağı duruyor. Öğrenci ona soruları tek tek okuyor, ama cevap almakla yetinmiyor. Her sorudan sonra "Bu soruyu duyunca aklınıza ne geldi?" diye soruyor. Kadın "Torununuza ne sıklıkla bakıyorsunuz?" sorusuna "sık sık" diye cevap veriyor. Öğrenci "sık sık derken ne kastettiniz?" deyince kadın gülüyor: "Her gün işte. Hafta sonu hariç."
Bir sonraki soruda kadın duraksıyor. "Bakım sorumluluğunu kimlerle paylaşıyorsunuz?" sorusunu "paylaşmak" sözcüğü yüzünden yanlış anlamış. Parayı kastettiğini sanmış. Öğrenci sorunun yanına bir not düşüyor. Ölçekteki "kendime ayırabileceğim zamanım kalmadı" maddesinde kadın bir süre düşünüyor ve "kendime zaman ayırmak ne demek ki?" diye soruyor. Bu ifade onun hayatında hiç yer almamış bir kavram.
Görüşmeden sonra öğrenci anketör olarak çalışacak üç arkadaşıyla buluşuyor. Onlara bir kılavuz hazırlamış: her sorunun nasıl okunacağı, hangi durumda açıklama yapılabileceği, kimin görüşmeye alınacağı, kapıyı kimse açmazsa ne yapılacağı. Arkadaşlarından biri gülerek "bunu ezberleyecek miyiz?" diye soruyor. Öğrenci ciddi: "Hayır. Ama herkes aynı soruyu aynı biçimde soracak."
Bu derste ne olacak
Deneme görüşmesi, kılavuz ve anketör buluşması bu kursun kurgusal çizgisinin son sahnesi. Bir anketi sahaya çıkmadan önce sınamak ve sahadayken denetlemek ise her iyi anket araştırmasının görünmeyen ama belirleyici parçası. Önceki ders kapsama hatasını, yanıtlamamayı ve sosyal beğenirliği anlattı. Kapanışında bu sorunların çoğunun sahadan önce yakalanabileceği fikri kaldı.
Araştırma tasarımı derslerinde pilot çalışmanın bir tasarımın uygulanabilirliğini sınayan küçük bir prova olduğu, pilot yanılgısının ise pilottan bulgu okumak olduğu anlatılmıştı. Bu ders pilottan önce ve pilot boyunca yapılan daha ince sınamalara bakıyor. Soruların katılımcının zihninde nasıl anlaşıldığının araştırılması, anketörlerin ortak bir dille hazırlanması ve sahadaki çalışmanın düzenli denetlenmesi dersin konuları. Anket kursunun sekiz durağından sonuncusu da bu.
Sıfır noktası — Araştırmacının bildiği, katılımcının anladığı
Soruyu kaleme alan kişinin kafasında sorunun anlamı baştan yerleşiktir. Bu yüzden kendi sorusunun başka biri tarafından nasıl anlaşılacağını görmekte zorlanır. Soru araştırmacının zihninde açıktır, ama katılımcının zihninde başka bir anlama kayabilir. Bu kaymayı görmenin tek yolu, soruyu katılımcının kendisine sormak ve onun nasıl anladığını dinlemektir.
Bilişsel görüşmede iki temel teknik birlikte kullanılır. Biri, katılımcının düşündüklerini doğrudan dile getirmesini istemektir.
Öbür teknik, araştırmacının belirli noktalarda sorular sormasıdır. Nitel kursta görülen sonda soru mantığı burada anket sorusunun kendisine yönelir: "Bu soruyu kendi sözlerinizle nasıl sorardınız?", "Bu sözcük size ne ifade ediyor?", "Cevabınızı verirken hangi dönemi düşündünüz?"
Mekanizma — Anketörü hazırlamak, sahayı izlemek
Sorular sınandıktan sonra, onları sahaya taşıyacak kişilerin hazırlanması gelir. Önceki derslerde anketör etkisinin cevapları değiştirebildiği görülmüştü. Bu etkiyi azaltmanın ilk yolu, bütün anketörlerin aynı biçimde çalışmasını sağlamaktır.
Anketörler eğitildikten sonra da sahadaki çalışmanın düzenli olarak denetlenmesi gerekir. Denetim yalnız hataları yakalamak için değil, anketörleri desteklemek ve sorunları erken fark etmek için de yapılır.
Saha denetiminin en ağır sorunlarından biri, gerçekte yapılmamış görüşmelerin yapılmış gibi kaydedilmesidir.
Kuramsal mercekler
Anket sorularının bilişsel süreçlerle cevaplandığı görüşü, bilişsel görüşmelerin kuramsal dayanağıdır. Katılımcının cevabı, sorunun anlaşılmasından hafızanın taranmasına, bir karara varılmasından o kararın seçeneklere dökülmesine uzanan bir zincirin sonunda oluşur. Bilişsel görüşme bu adımların her birinde nerede sorun çıktığını görmeyi amaçlar: soru yanlış mı anlaşılıyor, hatırlanması istenen bilgi erişilebilir mi, seçenekler yargıyı ifade etmeye uygun mu?
Başka bir bakış ise anketi bir iletişim olarak görür ve kültürel uyuma dikkat çeker. Bir soru dilbilgisi olarak doğru ve anlaşılır olabilir, ama katılımcının dünyasında karşılığı olmayan bir kavramı varsayabilir. "Kendine zaman ayırmak" ya da "iş yaşam dengesi" gibi kavramlar, belirli bir yaşam biçiminden doğmuştur ve her grupta aynı anlamı taşımaz. Bilişsel görüşmeler bu kültürel uyumsuzlukları da ortaya çıkarır.
Ölçek
Kalite denetimi bir anketin farklı evrelerinde yapılır ve her evre farklı sorunları yakalar. Sahaya çıkmadan önceki bilişsel görüşmeler, soruların anlaşılıp anlaşılmadığını gösterir. Pilot uygulama, formun uzunluğunu, soruların sırasını, anketörlerin ve katılımcıların birlikte nasıl çalıştığını sınar. Sahanın ilk haftasındaki yakın denetim, anketörlerin kılavuza uyup uymadığını ve beklenmedik sorunları erken yakalar. Saha boyunca süren düzenli denetim, kaymaları ve uydurma görüşmeleri fark eder. Saha bittikten sonra verinin temizlenmesi ise tutarsız ve eksik cevapları ortaya çıkarır.
Her evre bir öncekinin yakalayamadığını yakalar. Hiçbir evrenin atlanması, sonraki evrelerde daha pahalı bir sorun olarak geri döner.
Türkiye bağlamı ve karşılaştırma
Türkiye'de yürütülen pek çok anket araştırmasında, özellikle tez çalışmalarında ve küçük bütçeli projelerde, bilişsel görüşmeler ve kapsamlı anketör eğitimi zaman ve kaynak sınırları yüzünden atlanabilir. Pilot çoğu zaman birkaç arkadaşa formu doldurtmakla sınırlı kalabilir. Oysa hedef evrene benzemeyen kişilerle yapılan bir deneme, asıl katılımcıların yaşayacağı sorunları göstermeyebilir.
Türkiye'de ölçek uyarlama çalışmalarında da bilişsel görüşmeler, çevirinin yalnız dilsel doğruluğunu değil, maddelerin Türkiye'deki gündelik hayatta nasıl anlaşıldığını sınamak için önemli bir araç olabilir. Farklı bölgelerden, farklı yaş ve eğitim gruplarından kişilerle yapılan görüşmeler, maddelerin tek bir grup için değil hedef evrenin tamamı için anlaşılır olup olmadığını gösterir.
Bu bilgiyi nasıl biliyoruz?
Bilişsel görüşmelerin ve saha denetiminin değeri, bu yöntemlerle yakalanan sorunların sonuçlara etkisi incelenerek ortaya konmuştur. Bilişsel görüşmelerde sorunlu bulunan soruların yeniden yazılmış hâlleri, asıl uygulamada daha tutarlı ve daha az eksik cevap alır. Denetimi yoğun sahalarda uydurma görüşme ve anketör etkisi daha düşük düzeyde kalır.
Yaygın hatalar
Yaygın yanlışSoruyu yazan araştırmacının, onun anlaşılırlığını da en iyi kendisinin yargılayabileceği düşünülebilir.
Oysa araştırmacı sorunun anlamını zaten bildiği için katılımcının yaşayacağı karışıklığı göremez. Sorunun nasıl anlaşıldığı ancak katılımcılarla yapılan bilişsel görüşmelerde görülür.
Yaygın yanlışPilotu birkaç arkadaşa ya da meslektaşa formu doldurtmakla sınırlamanın yeterli olduğu sanılabilir.
Oysa hedef evrene benzemeyen kişiler, asıl katılımcıların yaşayacağı anlama ve cevaplama sorunlarını yaşamaz. Pilot, hedef evrene benzeyen kişilerle yapılmalıdır.
Yaygın yanlışAnketörlerin formu okuyabildiği sürece özel bir eğitime gerek olmadığı düşünülebilir.
Oysa anketörlerin soruları farklı biçimlerde okuması, farklı açıklamalar yapması ve hane içinde farklı kişileri seçmesi cevapları değiştirir. Ortak bir kılavuz ve eğitim bu farkları azaltır.
Yaygın yanlışSaha başladıktan sonra denetimin yalnız sonunda yapılabileceği sanılabilir.
Oysa sorunlar sahanın ilk günlerinde fark edildiğinde düzeltilebilir. Sonunda fark edilen bir sorun, çoğu zaman kaybolmuş verinin geri getirilememesi anlamına gelir.
Yaygın yanlışUydurma görüşmelerin nadir ve önemsiz olduğu düşünülebilir.
Oysa zaman baskısı ve yetersiz denetim altında bu davranış ortaya çıkabilir ve verinin güvenilirliğini kökten bozar. Geri arama denetimleri ve süreç verisi incelemesi, anketin olağan bir parçası olmalıdır.
Aklında kalsın
- Bilişsel görüşme, soruların katılımcının zihninde nasıl anlaşıldığını ve cevaba nasıl varıldığını ortaya çıkarır.
- Sesli düşünme, katılımcının bir soruyu cevaplarken aklından geçenleri doğrudan görmeyi sağlar.
- Belirsiz sözcükler ve katılımcının hayatında karşılığı olmayan kavramlar, bilişsel görüşmelerde görünür hâle gelir.
- Anketör kılavuzu, farklı anketörlerin aynı soruyu aynı biçimde sormasını sağlar.
- Süreç verisi, sahanın nasıl yürüdüğünü izlemenin ve sorunlu görüşmeleri fark etmenin yoludur.
- Uydurma görüşmeler verinin güvenilirliğini bozar ve geri arama denetimleriyle yakalanabilir.
- Kalite denetimi sahadan önce, saha boyunca ve sahadan sonra sürer ve her evre farklı sorunları yakalar.
Sonraki derse köprü
Bu kurs, kentteki torun bakan büyükanneler hakkında konuşmak isteyen öğrencinin anketini adım adım kurdu. Önce kimin hakkında konuşulduğunu ve hangi listeden yola çıkıldığını belirledi, sonra kimin seçileceğine ve kaç kişiyle görüşüleceğine karar verdi. Soruları, ölçekleri ve formun hangi yoldan ulaşacağını tasarladı. Ardından sahadan dönen örneklemin kayıplarını ve iyi görünme çabasını tanıdı. Son olarak soruları katılımcılarla sınamayı, anketörleri hazırlamayı ve sahayı denetlemeyi öğrendi.
Saha kapanıyor. Öğrencinin masasında yüzlerce form ve bir yığın ekran kaydı var. Her formda yaş, mahalle, bakım sıklığı, ölçek maddeleri, açık uçlu cevaplar ve boş bırakılmış sorular duruyor. Bunları çözümleyebilmek için hepsini tek bir tabloya dönüştürmesi gerekiyor. Her kadın bir satır, her soru bir sütun olacak. Ama "bilmiyorum" diyen kadının cevabı nasıl kaydedilecek, boş bırakılan bir soru ile sıfır cevabı nasıl ayırt edilecek, ters maddeler tabloda nasıl işaretlenecek? Sosyal istatistik kursunun ilk dersi, "Veri matrisi, değişken ve kod kitabı", toplanan verinin çözümlemeye hazır bir düzene nasıl sokulacağını ele alıyor.