Anket Akışı ve Pilot Test

Açılış sahnesi

Bir ekip aynı anketi iki gruba gönderiyor ve iki grup arasında tek bir fark var: soru sırası.

Birinci formda genel memnuniyet sorusu en başta duruyor. Katılımcı formu açıyor, ilk gördüğü şey bu soru oluyor ve aklından geçen genel izlenimi işaretliyor.

İkinci formda aynı soru en sonda. Katılımcı oraya gelene kadar teslimat süresini, ambalajın durumunu, iade sürecini ve destek hattını tek tek düşünmüş oluyor.

Sorunun kelimeleri aynı. Ölçek aynı, basamak sayısı aynı, etiketler aynı.

Sonuçlar aynı değil. İkinci grubun genel memnuniyet ortalaması gözle görülür biçimde daha düşük çıkıyor.

Kimse yalan söylemedi. Hiçbir soru bozuk değildi. İki grup da kendi doğrusunu işaretledi.

Fark, sorunun kendisinden değil, sorudan önce ne düşünüldüğünden geldi.

Bu ders o farkın üstüne kurulu. Bir önceki derste soruları tek tek düzeltmiştik; şimdi onları yan yana koyuyoruz ve yan yana gelmenin kendisi yeni bir tasarım kararı üretiyor.

Bu derste ne olacak

Önce formun bir dizi olduğunu göreceğiz. Katılımcı hiçbir soruya sıfırdan başlamıyor ve bu, sıranın bir üslup tercihi olmadığı anlamına geliyor.

Sonra sıranın yönüne bakacağız. Genel soru başa mı konur, sona mı? İkisinin de bir bedeli var ve hangisini ödeyeceğin ölçmek istediğin şeye bağlı.

Ardından formu dolduranın enerjisine geleceğiz. Uzunluk arttıkça cevaplar bozulmuyor, bozulma biçim değiştiriyor ve bunun tabloda tanınabilir bir izi var.

Usta katmanında pilot testi ele alacağız. Bir formu yazana o form hep açık görünür; sınama bu yüzden yazandan başka birinin okumasıyla başlıyor.

Son bölümde pilotun neyi ölçtüğünü ayıracağız, çünkü pilot testin bulduğu şey çoğu zaman sorunun kendisi değil tek bir kelime oluyor.

Buradaki işletmeler ve sayılar uydurmadır; aktarılmak istenen şey formun düzeni ve o düzenin ürettiği veridir.

Sıfır noktası

Bir önceki ders soruları tek tek ele almıştı: gövdeler sabitlendi, seçenek listeleri örtüşmeyecek ve boşluk bırakmayacak biçimde düzeltildi, ölçekler tek yöne çevrildi.

Bu ders bir adım geri çekiliyor ve formun tamamına bakıyor. Buradaki birim artık soru değil, sıra.

Buna anket akışı deniyor: soruların forma yerleştirilme düzeni, yani hangi sorunun hangisinden önce geldiği ve konuların hangi sırayla açıldığı. Akış bir sunum tercihi değil: katılımcı her soruya bir önceki sorunun bıraktığı zihinle geliyor ve düzen, toplanan sayıyı doğrudan oynatıyor.

İki örnekte de hiçbir soru değişmedi. Değişen tek şey sıraydı ve sıra, cevabın anlamını değiştirdi.

Mekanizma — sıranın ürettiği bağlam

Açılış sahnesindeki iki form arasındaki fark tam olarak buydu. İkinci grup genel memnuniyeti işaretlerken az önce hatırladığı ayrıntıların üstünden geçiyordu; birinci grubun elinde ise yalnızca genel bir izlenim vardı.

Buradan pratik bir soru çıkıyor: genel soru nereye konur?

Başa konduğunda katılımcının kendiliğinden taşıdığı izlenim ölçülüyor. Bu izlenim ayrıntılarla düzeltilmemiş, ama gerçek: kişi bir markayı düşündüğünde aklına gelen şey bu.

Sona konduğunda ayrıntıları hatırlamış bir kişinin değerlendirmesi ölçülüyor. Bu değerlendirme daha bilgili, ama formun kendisi tarafından biçimlendirilmiş.

İkisi de geçerli ölçüm ve ikisi aynı sayı değil. Karar verilmesi gereken şey hangisinin doğru olduğu değil, hangisinin sorulan iş sorusuna cevap verdiği.

Huninin bir istisnası var ve bilinçli kullanılıyor: konu hassassa, dar ve kolay sorular öne alınıyor. Katılımcı forma girmeden zorlanırsa devam etmiyor.

Bu hamlenin adı sıra dönüşümü: aynı formu farklı katılımcılara farklı sıralarla göndermek. Sıra etkisini ortadan kaldırmıyor, ama etkiyi bütün seçeneklere eşit dağıtıyor ve tek bir maddenin sistemli biçimde cezalandırılmasını önlüyor.

Mekanizma — dolduranın enerjisi

Sıra bir yana, formun uzunluğu ayrı bir değişken ve etkisi tabloda gözle görülüyor.

Buradan bir ölçüt çıkıyor ve sayıya bağlanmıyor: bir formun doğru uzunluğu, katılımcının hangi koşulda doldurduğuna bağlı. Kasada bekleyen kişiyle akşam evinde oturan kişi aynı formu doldurmuyor.

Usta katmanı — formu yayına çıkmadan sınamak

Buraya kadar yapılan her şeyi tek bir kişi yaptı: formu yazan kişi.

Ve o kişi için form zaten anlaşılır. Hangi kelimeyi hangi anlamda seçtiğini, hangi seçeneğin neyi kapsadığını biliyor; formu okurken aslında kendi niyetini okuyor.

Pilot kaç kişiyle yapılır? Sayı küçük ve kazancı büyük: bir formdaki anlaşılmazlıkların çoğu ilk birkaç katılımcıda ortaya çıkıyor, çünkü aynı belirsiz kelimede farklı insanlar aynı yerde takılıyor.

Pilotun ölçtüğü şeyler dörde ayrılıyor ve dördü ayrı ayrı not ediliyor: her sorunun anlaşılırlığı, formun gerçek süresi, akışın kesintisiz ilerleyip ilerlemediği ve teknik tarafın çalışıp çalışmadığı.

Yaygın hatalar

Aklında kalsın

Anket bir soru yığını değil, sıralı bir bütündür. Katılımcı her maddeye bir öncekinin bıraktığı zihinle geldiği için düzenin kendisi sonucu oynatır.

Genel sorunun yeri bir tercih meselesidir ve iki yerin iki ayrı ölçümü vardır: başta kendiliğinden taşınan izlenim, sonda formun hatırlattıklarıyla biçimlenen değerlendirme. İkisi de geçerlidir, ikisi aynı sayı değildir ve hangisinin seçileceği iş sorusuna bağlıdır.

Form uzadıkça veri artmaz. Cevaplar seyrelir, açık uçlular kısalır, ölçekler tek sütuna yaklaşır ve bırakma tek bir soruda birikir; o soru neredeyse her zaman düzeltilebilir bir sorudur.

Pilot test veri toplamaz, formu sınar. Ölçtüğü dört şey ayrı ayrı yazılır: anlaşılırlık, gerçek süre, akışın kesintisizliği ve teknik tarafın çalışması.

Pilotun iki koşulu var ve ikisi de vazgeçilmez. Katılımcı forma dışarıdan bakmalı ve pilot grubu asıl kitleye benzemeli; bu iki koşul sağlanmadığında pilot, sorunları bulmak yerine formu onaylar.

Sonraki derse köprü

Elimizde artık sınanmış bir form var. Soruları tek tek çalışıyor, sıraları düşünülmüş, uzunluğu doldurulabilir ve dışarıdan iki kişi onu yazarın anladığı gibi anladı.

Form hazır olduğunda geriye tek bir soru kalıyor ve o soru formun içinde değil: bu form kime ulaşacak?

Kusursuz bir form yanlış kişilere gittiğinde kusursuz biçimde yanlış bir sonuç üretir. Üstelik bu hata tabloda hiçbir iz bırakmaz; sayılar düzgün, dağılımlar makul ve hücreler dolu görünür.

Üç ayrı yerden geliyor. Formun ulaştığı grup asıl kitleyi temsil etmiyor olabilir. Ulaşan herkes cevaplamamış olabilir ve cevaplamayanlar cevaplayanlardan sistemli biçimde farklı olabilir. Ya da cevaplayanlar kendiliğinden öne çıkmış, yani en memnun ve en kızgın olanlar formu doldurmuş olabilir.

Sonraki ders bu üçünü ele alıyor ve her birinin sonucu hangi yöne çektiğini gösteriyor. Örneklem hatası ve yanlılık.