Ölçüm, Değişken ve Hipotez

Açılış sahnesi

Masada iki anket raporu duruyor ve ikisi de aynı markanın aynı müşterilerine, aynı yıl içinde yapılmış.

Birincisi ilkbaharda tamamlanmış ve kapak sayfasında tek bir cümle var: müşterilerin büyük çoğunluğu markaya güveniyor. Soru şuydu: "Bu markaya güveniyor musunuz?" Cevap seçenekleri evet ve hayırdı, evet diyenlerin sayısı da odayı rahatlatmaya yetmişti.

İkincisi sonbaharda, başka bir ekip tarafından yapılmış. Kapak sayfası tam tersini söylüyor: güven düşük ve düşüş sürüyor. Bu kez soru başkaydı; "bu marka bir sorun çıktığında arkasında durur mu" diye sorulmuş ve beş basamaklı bir ölçekle işaretlenmişti. Yanına ikinci bir soru eklenmişti: "Yakın bir arkadaşınıza gönül rahatlığıyla önerir misiniz?"

Toplantıyı yöneten kişi iki raporu yan yana koyup soruyor: hangisi doğru?

Araştırmacı ikisinin de doğru olduğunu söylüyor. Soruların ikisi de dürüstçe sorulmuş ve dürüstçe cevaplanmış; yalnızca ikisi de "güven" kelimesinin altına başka bir şey koymuş. Birincisi genel bir onayı saymış, ikincisi sorun anındaki beklentiyi.

Sonra araştırmacı asıl soruyu soruyor: güven yükseldiğinde bu şirkette neyin değişmesini bekliyorsunuz?

Satış müdürü hiç düşünmeden cevap veriyor: rakip indirim yaptığında müşterilerin bizden ayrılmamasını.

Odada kısa bir sessizlik oluyor. Bu bir davranış; sayılabilir, kayıtlarda duruyor ve iki anketin hiçbiri bunu sormamış. İki ekip de önce soruyu yazmış, ölçtüğü şeyin ne olduğuna sonradan karar vermiş.

Anketin ilk sorusu yazılmadan önce verilmesi gereken karar hiç verilmemişti.

Bu derste ne olacak

Önceki kursun sonunda elimizde bir örüntü haritası kalmıştı: davranışın hangi sırayla kurulduğu, arkasındaki gerekçe ve onu ayakta tutan gerilim. Bu kurs haritadan tek bir parçayı alıp o parçanın kaç kişide geçerli olduğunu soracak ve bunu sorabilmek için sayılacak şeyin ne olduğuna önce karar vermek gerekiyor. Önceki kursun son cümlesinde asılı kalan soru da buydu: kurulumda yalnız kalan bir müşteri nasıl sayılır?

Bu ders o kararın dersi. Önce soyut bir kavramla ölçülebilir bir gösterge arasındaki mesafeye bakacağız ve o mesafeyi inen merdiveni basamak basamak kuracağız.

Sonra değişken kavramına geçeceğiz. Neyin değişken sayıldığı, hangi düzeyde ölçüldüğü ve hangisinin sebep hangisinin sonuç olarak konumlandığı; üçü de anketten önce verilen kararlar.

Ardından hipotezi yazacağız. Kursun projesi bir müşteri anketi ve o anketin arkasında bir analiz planı var; analiz planı ise ancak yazılı bir beklenti varsa kurulabiliyor.

Son bölümde ölçümün iki sınavına bakacağız: ölçtüğümüz şey gerçekten aradığımız şey mi ve aynı ölçüm yarın yeniden yapılsa aynı sonucu verir mi?

Adı geçen işletmelerin hepsi bu ders için uyduruldu; her birinin altındaki ölçüm mantığı ise gerçek anketlerin altında da aynen duruyor.

Sıfır noktası

Araştırma sorusunu kurduğumuz derste operasyonel tanımı görmüştük: sorudaki belirsiz kelimenin sayılabilir bir karşılıkla değiştirilmesi. O ders bunu tek bir cümlede bırakmıştı, çünkü bir görüşme rehberi için o kadarı yetiyordu.

Anket için yetmiyor, çünkü anket her katılımcıya aynı soruyu aynı biçimde soruyor ve cevapları toplayıp sayıyor. Kelimenin altındaki karşılık eksik ya da bulanıksa sayı kusursuz görünür ve hiçbir şeyi ölçmez.

Yapı ile gösterge arasındaki fark bir anketin bütün kaderini belirliyor. Yapı sorulmaz, çünkü sorulduğunda katılımcı kendi tanımını getirir; sorulan ya da sayılan şey göstergedir ve göstergenin yapıya bağlanması araştırmacının işidir.

Bir yapının tek bir göstergeye sığması nadirdir. Çoğu yapının birden fazla yüzü, yani boyutu vardır ve boyutlar ayrılmadan seçilen gösterge yalnız bir yüzü sayar.

Bir anket sorusunun işe yarayıp yaramayacağı çoğu zaman bu tanımla anlaşılıyor. Cevaplar dağılmıyorsa soru ya herkesin aynı biçimde cevaplayacağı bir şeyi soruyordur ya da cevapların dağılmasına izin vermeyen bir biçimde kurulmuştur.

Mekanizma — yapıdan sayıya inen merdiven

Yapıdan sayıya inmek dört basamaklı bir merdiven ve basamaklar atlanmıyor.

Birinci basamakta yapı tek cümleyle yazılıyor ve hemen ardından ne olmadığı yazılıyor. Güven memnuniyet değildir, sadakat alışkanlık değildir; sınırı çizilmeyen bir yapı zamanla yanındaki bütün kavramları içine alır.

İkinci basamakta boyutlar ayrılıyor. Önceki kursun tema haritası burada işe yarıyor; görüşmelerde insanların o kavramı hangi yüzlerinden anlattığı, boyutların en güvenilir kaynağıdır.

Üçüncü basamakta her boyuta bir ya da birkaç gösterge seçiliyor ve göstergenin nereden geleceği yazılıyor: sorulacak mı, gözlenecek mi, yoksa zaten duran bir kayıttan mı alınacak?

İkincil araştırma dersinde tanıdığımız vekil göstergeyi burada hatırlamak gerekiyor. Gösterge ile yapı arasındaki bağın gerekçesi yazılmıyorsa, seçilen sayı yalnızca ölçmesi kolay olduğu için seçilmiş demektir.

Dördüncü basamak ölçüm düzeyi ve bu basamak analiz gününde geri dönüp seni bulur.

Bu üçlü bir hiyerarşi ve hiyerarşinin bir yönü var. Sayı düzeyinde toplanan veri sonradan gruplara bölünüp sıralama ya da sınıflama hâline getirilebilir; tersi asla yapılamaz, çünkü sınıflama düzeyinde toplanan veride kaybedilen bilgi geri gelmez.

Değişkenlerin bir de rolü var ve rol veriden okunmuyor, karar sorusundan geliyor.

Şimdi iki değişkenin arasına bir beklenti yazılabilir.

Nitel ve nicel yöntem seçimini konuştuğumuz derste doğrulayıcı araştırmanın baştan yazılmış bir beklenti gerektirdiğini görmüştük. Hipotez o beklentinin yazılı hâli; araştırma sorusu dersindeki kanıt eşiğiyle birleştiğinde bir karar kuralına dönüşüyor: bu ilişkiyi şu büyüklükte görürsem şunu yaparım.

Bir uyarı burada gerekiyor. Hipotezin desteklenmesi sebep iddiası değildir; iki değişkenin birlikte hareket ettiğini görmek, hangisinin ötekini sürüklediğini söylemez ve o soru bu kursun son derslerine kalır.

Usta katmanı — ölçüm doğru mu, sağlam mı?

Merdiven kurulduğunda elimizde göstergeler ve hipotezler var. Ölçümün iki sınavı bundan sonra başlıyor; biri geçildiğinde öteki kendiliğinden geçilmiş olmuyor.

İkisinin ilişkisi bir tartıyla en iyi anlaşılıyor. Her seferinde aynı yanlış sayıyı gösteren bir tartı güvenilirdir ve geçersizdir; her seferinde başka bir sayı gösteren tartı ise hiçbir şey değildir, ortalaması doğru olsa bile.

Tek bir soru güvenilirliğin en zayıf hâli. Aynı boyutu farklı yüzlerinden yoklayan birkaç gösterge, tek bir sorunun rastgele sapmasını dengeler ve bir göstergenin bozulduğunu diğerleri gösterir.

Bir gösterge her müşteri grubunda aynı biçimde çalışmaz. Aynı ölçüm bir grupta yapıyı yakalarken başka bir grupta bambaşka bir şeyi sayabilir ve bunu ölçüm planı yazılırken sormak gerekiyor.

Bütün bu kararlar tek bir sayfada toplanıyor. Yapı, ne olmadığı, boyutlar, her boyutun göstergesi ve kaynağı, her göstergenin ölçüm düzeyi, hipotezler ve her hipotez için hangi iki değişkenin yan yana konacağı; kursun projesindeki analiz planı bu sayfadan doğuyor, anket soruları da.

Yaygın hatalar

Aklında kalsın

Anketin ilk sorusundan önce verilen bir karar var ve bu ders o kararın dersiydi. Ölçmek istediğimiz şeylerin çoğu doğrudan görülmüyor; güven, kalite ve bağlılık birer yapı ve yapılar sorulmuyor, bıraktıkları izler sayılıyor. İz ile yapı arasındaki bağ yazılmadığında elde kalan şey ölçmesi kolay bir sayıdır.

Yapıdan sayıya inen merdivenin dört basamağı var: yapının sınırı, boyutları, her boyutun göstergesi ve kaynağı, her göstergenin ölçüm düzeyi. Düzey sonradan hangi hesabın yapılabileceğini belirliyor; sayı düzeyinde toplanan veri sonradan katlanabilirken sınıflama düzeyinde toplanan veri bir daha açılamıyor.

Değişkenlerin rolü veriden değil karar sorusundan geliyor; bağımsız olan değişimi izlenen, bağımlı olan hareket etmesi beklenen. İkisinin arasına yazılan hipotez ancak yanlış çıkabiliyorsa hipotezdir ve kanıt eşiğiyle birleştiğinde bir karar kuralına dönüşür.

Ölçümün iki sınavı birbirinin yerine geçmiyor. Güvenilirlik aynı şeyi her seferinde aynı biçimde saymak, geçerlilik doğru şeyi saymak; tutarlı olup yanlış şeyi ölçen bir soru anketlerin en sessiz kusurudur. Bu dersten tek bir soruyla ayrıl: bu sayı gerçekten neyi sayıyor ve hangi sonuç bana yanıldığımı söyler?

Sonraki derse köprü

Elimizde artık tek sayfalık bir ölçüm planı var. Hangi yapıyı, hangi boyutlardan, hangi göstergelerle ve hangi düzeyde ölçeceğimiz yazılı; iki değişken arasındaki beklentimiz de yanında duruyor.

Henüz tek bir anket sorusu yazmadık ve bu bilinçli bir sıra.

Çünkü aynı gösterge iki farklı cümleyle sorulduğunda iki farklı sayı üretiyor. "Son servis ziyaretinden memnun kaldınız mı" ile "son servis ziyaretini nasıl değerlendirirsiniz" aynı göstergeyi hedefliyor ve aynı katılımcıdan farklı cevap alıyor; kelimenin sırası, seçeneklerin dizilişi, ölçeğin kaç basamak olduğu ve orta basamağın var olup olmaması, her biri sayıyı kendi yönüne çekiyor.

Görüşme rehberi dersinde soruların nasıl yönlendirdiğini görmüştük. Ankette bu yönlendirmenin görüşmeciyi bile gerektirmeyen, kâğıdın üstünde tek başına çalışan biçimleri var ve sonraki ders tam olarak bunları konuşuyor: bir göstergeyi, katılımcının anladığı, hiçbir yöne itilmediği ve cevabının analizde işe yarayacağı bir soruya nasıl çevireceğiz?