Soru ve Ölçek Tasarımı

Açılış sahnesi

Toplantı odasında altı yüz doldurulmuş formun dökümü duruyor ve kimse kâğıtlara bakmıyor; herkes duvara yansıyan tek slayta bakıyor.

Karar sade görünüyor. Kurulum randevusu ertesi güne mi verilecek, yoksa üç güne yayılan bugünkü düzen mi korunacak? Ertesi gün sözü fazladan bir ekip demek, fazladan ekip de her ay tekrarlayan bir gider demek; yani masadaki şey bir maliyeti kabul edip etmemek.

Araştırmacı slaytı kapatıyor ve anketin üç sorusunu sırayla okuyor.

Birincisi memnuniyeti sormuş: kurulum hizmetimizden memnun musunuz? Seçenekler evet, kısmen ve hayır. Beş yüz altmış bir kişi ilk iki seçenekten birini işaretlemiş ve bu sayı, randevu gününü tartışan bir odada hiçbir işe yaramıyor.

İkincisi süreyi sormuş: kurulum kaç günde tamamlandı? Seçenekler bir ilâ üç gün, üç ilâ beş gün ve beş günden fazla. Kurulumu tam üç günde biten müşteri iki seçeneğe birden uyuyor ve hangisini işaretlediği kişiden kişiye değişmiş.

Üçüncüsü önemi sormuş: randevu esnekliği sizin için ne kadar önemli? Bir ile on arasında bir sayı isteniyor ve iki uç dışında hiçbir basamağın yanında açıklama yok. Cevaplar neredeyse tamamen altının üstünde toplanmış; birinin verdiği yedi ile ötekinin verdiği yedi aynı şeyi mi söylüyor, bunu kimse bilmiyor.

Pazarlama sorumlusu itiraz ediyor: ölçüm planı üç ay önce yazılmıştı ve bu üçü de planın içindeydi.

Araştırmacı başını sallıyor, çünkü itiraz haklı. Planda kurulum deneyimi tanımlanmış, boyutlara ayrılmış, her boyuta bir gösterge seçilmiş ve her göstergenin hangi düzeyde ölçüleceği bile yazılmıştı.

Sonra plan kâğıda dökülürken sorular yazıldı ve planı taşıyan şey tam o yazım sırasında elden kaydı.

Altı yüz kişi cevap verdi, hiçbiri yanlış cevap vermedi ve ortada ölçüm yok.

Bu derste ne olacak

Bir önceki ders tek sayfalık bir ölçüm planıyla bitmişti; o plan bu dersin girdisi ve bu ders onu kâğıda çeviriyor.

Çeviri iki ayrı karardan oluşuyor: katılımcının okuduğu cümle ve önüne konan cevap kümesi. İkisi çoğu ankette tek hamlede yazılıyor, oysa biri anlamı belirliyor, öteki hesabı.

Önce sorunun bu iki yarısını ayıracak ve cevap kümesinin taşımak zorunda olduğu iki koşulu koyacağız.

Sonra açık uçlu soruyla kapalı uçlu soru arasındaki iş bölümüne bakacağız; hangisinin kullanılacağı üslup meselesi değil, elde ne olduğuna bağlı bir karar.

Ardından ölçeklere geçeceğiz. Bir derecelendirme ölçeğinin ne ürettiği, kaç basamak taşıyacağı, ortada bir basamak bulunup bulunmayacağı ve basamakların nasıl etiketleneceği; dördü de sonuçtaki sayıyı doğrudan oynatıyor.

Usta katmanında sorunun katılımcıya söylettiği şeye bakacağız, çünkü doğru kurulmuş bir soru bile cevabı kendi yönüne çekebiliyor ve bunun tanınmış birkaç biçimi var.

Son olarak her sorunun analiz planındaki karşılığını arayacağız; karşılığı bulunamayan soru ankete girmiyor.

Bu derste anlatılan işletmelerin tamamı kurgu, sayıları da öyle; kalıcı olan şey soruların kuruluşu ve her kuruluşun ürettiği veri.

Sıfır noktası

Görüşme rehberi dersinde soruların üç bilinen kusurunu görmüştük: yönlendiren soru, çift soru ve varsayım yüklü soru. Üçü de ankette aynen geçerli, ama ankette bir fark var ve o fark üçünü birden ağırlaştırıyor.

Görüşmede soruyu soran kişi odada duruyor. Katılımcı yüzünü buruşturduğunda soru yeniden kuruluyor, yanlış anlaşıldığı fark edildiğinde düzeltiliyor ve cevap bulanık kaldığında takip sorusu geliyor.

Ankette kimse odada değil. Form katılımcıyla yalnız kalıyor, yanlış anlaşılan soru sessizce yanlış anlaşılıyor ve o yanlış anlama tabloya düzgün bir sayı olarak giriyor. Anket tasarımının tamamı bu yalnızlığa göre yapılıyor.

İki örnekte de soru dürüst, cevap dürüst ve sonuç kullanılamaz. Eksik olan şey özen değil, sorunun tek bir şeye sabitlenmesi.

Mekanizma — sorunun iki yarısı

Bu ikisini ayırmak anket yazımının en çok kazandıran alışkanlığı. Gövde düzeltildiğinde soru anlaşılır oluyor, cevap kümesi düzeltildiğinde soru analiz edilebilir oluyor ve ikisi birbirinden bağımsız olarak bozulabiliyor.

Cevap kümesi kapalı olduğunda katılımcı hazır listeden seçiyor, açık bırakıldığında kendi cümlesini yazıyor. Aradaki seçim, elinde ne olduğuna bağlı.

Kapalı soru saydırıyor ve karşılaştırıyor, çünkü herkes aynı seçeneklerden birini işaretliyor. Açık soru ise bilmediğin bir şeyi öğretiyor, ama cevapların tek tek okunması gerektiği için sayısı az tutuluyor; okunacak her cevap ayrıca zaman istiyor.

Kapalı sorunun en yaygın biçimi bir derece istiyor ve derece sormak ayrı bir araç gerektiriyor.

Ölçek kurulurken üç ayrı karar veriliyor ve üçü de sonucu değiştiriyor: kaç basamak olacak, ortada bir basamak duracak mı ve basamaklar nasıl etiketlenecek?

Bir de düzey kararı var ve o karar bir önceki dersten geliyor: sayı olarak toplanabilecek bir bilgi aralıklara bölünerek sorulduğunda, kaybedilen ayrıntı geri gelmiyor.

Usta katmanı — sorunun katılımcıya söylettikleri

Buraya kadarki kararların hepsi sorunun neyi ölçtüğüyle ilgiliydi. Şimdi sorunun katılımcıyı nasıl etkilediğine bakıyoruz, çünkü kusursuz kurulmuş bir soru bile cevabı kendi yönüne çekebiliyor.

Son bir alışkanlık, yazılmış her soruyu bir kez daha eleğe atıyor.

Yaygın hatalar

Aklında kalsın

Ölçüm planı bir niyettir, anket ise o niyetin kâğıda dökülmüş hâlidir ve çeviri sırasında kaybolan şey geri gelmez. Her soru iki ayrı karardan oluşuyor; gövde neyin sorulduğunu, cevap kümesi ise cevabın hangi hesaba dönüşeceğini belirliyor.

Cevap kümesinin iki koşulu basit ve pazarlıksız: herkese bir seçenek uymalı, kimseye iki seçenek uymamalı. Kapalı soru saydırıp karşılaştırıyor, açık soru bilmediğini öğretiyor ve biri ötekinin işini görmüyor; hangisini seçeceğin elindeki bilgiye bağlı.

Derecelendirme ölçeği kurarken üç karar veriliyor. Hassasiyeti basamak sayısı değil etiketleme üretiyor; orta basamak gerçekten kararsız olanlar için duruyor ve konuyu bilmeyenler ölçeğin dışına çıkarılmazsa hepsi oraya yığılıyor.

Sorunun katılımcıya söylettiği şey de tasarımın parçası. Hep aynı yöne yazılmış ifadeler onaylama eğilimini besliyor, hassas konular beklenen cevabı çekiyor ve zaman aralığı verilmeyen sıklık soruları herkese kendi takvimini seçtiriyor.

Bir soruyu bitmiş saymadan önce altına iki not düş. Birincisi anlam notu: bu cümleyi okuyan iki farklı kişi aynı şeyi mi anlıyor? İkincisi hesap notu: bu cevap analiz planındaki hangi satıra gidiyor? İki notu da yazamıyorsan elindeki henüz bir anket sorusu değil.

Sonraki derse köprü

Elimizde artık tek tek çalışan sorular var. Her birinin gövdesi sabitlendi, cevap kümeleri kapsayıcı ve ayrık hâle getirildi, ölçekler aynı yöne çevrildi ve hepsinin karşısında analiz planından bir satır duruyor.

Yine de ortada bir anket yok, çünkü anket soruların toplamı değil.

Bir form baştan sona okunuyor ve her soru, kendinden öncekinin bıraktığı zihinle cevaplanıyor. Aynı soru formun başında ve sonunda farklı sayı üretiyor; önceki soru kişinin aklına bir şey getirdiyse sonraki cevap o şeyin gölgesinde veriliyor.

Bir de dolduranın enerjisi var. Formun ilerleyen bölümlerinde cevaplar kısalıyor, ölçek işaretlemeleri tek sütuna yaklaşıyor ve en sondaki sorular en az bilgiyi taşıyan sorular hâline geliyor.

Üstelik bu formu bugüne kadar yalnızca onu yazanlar okudu. Yazan kişi kendi cümlesini her zaman anlıyor ve bu, cümlenin anlaşılır olduğunu göstermiyor.

Sonraki derste soruları bir araya getirip sıraya koyacağız, sonra formu, onu ilk kez gören insanlarla yayına çıkmadan önce sınayacağız.