Ölçüm düzeyleri ve indeks/ölçek mantığı

Açılış sahnesi

Bir hastanenin hasta memnuniyeti raporu yönetim toplantısında okunuyor. Formda beş seçenek var, hiç memnun değilimden çok memnunuma kadar sıralanmış bir dizi. Rapor her birime bir ortalama çıkarmış, bir birim ötekinden yarım puan yüksek olduğu için ödüllendirilecek. Toplantıdaki bir hemşire elini kaldırıp soruyor, memnun değilim ile kararsızım arasındaki fark, memnunum ile çok memnunum arasındaki farkla aynı mı diye. Rapor hazırlayan uzman bir an duraksıyor, çünkü soru forma değil formun arkasındaki varsayıma dokunuyor. Aynı raporun son sayfasında bir hizmet kalitesi indeksi duruyor, bekleme süresi, temizlik ve personel nezaketi toplanıp tek bir sayıya çevrilmiş. Bir birim temizlikte çok iyi durumda ama beklemede çok kötü; indekste bu iki uç birbirini örtüyor ve ortada bir sayı çıkıyor. Kimse bekleme süresine neden temizlikle aynı ağırlığın verildiğini sormamış, sayı zaten hazır geliyor, tartışmaya kapalı görünüyor.

Bu derste ne olacak

O toplantı odasında geçen konuşma buraya kurgu olarak taşındı, gerçek bir hastaneyi ya da gerçek bir raporu değil, bir ortalamanın ne zaman meşru bir işlem ne zaman fark edilmeyen bir varsayım olduğunu göstermek için kurulmuş bir sahneyi anlatıyor. Önceki derste bir kavramın ayrı yüzlerini yakalayan bir gösterge seti kurulmuştu, ama o parçaların tek bir sonuca nasıl bağlanacağı sorusu bilerek açık bırakılmıştı. Bu ders tam oradan devam ediyor, bir gösterge setini tek bir puana çevirmenin mantığını ele alıyor. Önce sayılarla ne yapılabileceğinin sınırına, sonra toplamanın iki yoluna, sonra da toplamanın içindeki gizli karara bakacağız.

Sıfır noktası — sayıyla ne sorulabilir

Bir özelliği sayıyla kodlamak, o sayıyla her işlemi yapabileceğimiz anlamına gelmiyor. Anket formundaki beş seçenek bire beşe kadar numaralandırılabilir, ama bu numaralandırma seçenekler arasındaki mesafeyi eşitlemiyor, yalnızca sırasını gösteriyor. Ölçüm düzeyi tam burada devreye giriyor, sayının izin verdiği işlemle ilgileniyor.

Anket formundaki beş seçenek bu düzeylerden birine oturuyor, ama hangisine oturduğu ilk bakışta göründüğü kadar açık değil. Seçenekler sıralı bir örüntü taşıyor, hiç memnun değilimden çok memnunuma doğru bir artış var, ama memnun değilim ile kararsızım arasındaki mesafenin memnunum ile çok memnunum arasındaki mesafeyle aynı olduğunu hiçbir yer garanti etmiyor.

Bu örnekler aynı raporun içinde yan yana duruyor ve her biri farklı bir düzeyde. Sorun düzeylerin var olması değil, hangi düzeyde durulduğunun hiç sorulmamasıdır.

Mekanizma — parçaları tek puana bağlamak

Hastane raporunun son sayfasındaki hizmet kalitesi indeksi başka bir işlemi gösteriyor, tek bir sorunun cevabını değil üç ayrı ölçümü aynı sayıda toplamayı. Bekleme süresi, temizlik puanı ve personel nezaketi üç farklı şeyi ölçüyor ama toplandıklarında tek bir sayıya dönüşüyorlar. Bu, önceki derste kurulan gösterge setinden bir adım öteye geçiyor, göstergeleri yan yana tutmak yerine tek bir puanda eritiyor.

İki mantık aynı raporda yan yana duruyor ama birbirinin yerini tutmuyor. İndeksteki bir düşük puan, o boyutun zayıf olduğunu söylüyor ve toplamın içinde saklı kalsa da varlığını sürdürüyor. Ölçekteki maddeler ise aynı duyguyu farklı açılardan yokladığı için tek bir maddenin eksikliği taşınan bilgiyi büyük ölçüde değiştirmiyor.

Toplama işleminin kendisi de görünmez bir karar taşıyor. İndekste bekleme süresi, temizlik ve personel nezaketi toplanırken üçüne aynı pay veriliyor, ama bu eşitlik kendiliğinden gelen bir doğa durumu değil.

Kuramsal mercekler

Bir ölçümün hangi düzeyde ele alınacağı ve bir toplamın nasıl ağırlıklandırılacağı boşlukta durmuyor, araştırmacı bu kararları verirken bir mercek kullanıyor. Ölçüm düzeyini olabildiğince yükseltmeye çalışan bir mercek, kategorik bir cevabı sayısal bir ölçeğe dönüştürmeyi teknik bir kazanım sayıyor, çünkü aralıklı ya da oranlı bir ölçüm daha çok istatistiksel işleme açılıyor. Bu bakışın bedeli, eşit aralık varsayımının bazen sessizce yapılmasıdır. Ağırlıklandırmayı hiçbir zaman nötr saymayan okuma ise her toplamda bir değer yargısının izini arıyor ve eşit ağırlığı da bu izlerden biri sayıyor. Bu bakış açık bir tartışmayı zorunlu kılıyor, hangi bileşenin neden daha ağır sayıldığı yazılı olmak zorunda kalıyor. Araştırmacı iki merceği art arda kullanabiliyor, önce ölçümü yüksek düzeyde tutmaya çalışıyor, toplama aşamasında ağırlık kararını gizlemeden yazıyor.

Ölçek

Ölçüm düzeyi ve ağırlıklandırma kararının ağırlığı, kararın hangi ölçekte alındığına göre değişiyor. Bir kişinin tek bir sorudaki cevabı yanlış yorumlandığında sonuç o kişiyle sınırlı kalıyor, hata görünür olduğunda düzeltilebiliyor. Aynı karar bir kurumun karar sürecine taşındığında ağırlaşıyor, çünkü kurum artık tek bir cevaba değil, birçok cevabın toplandığı bir puana bakarak hangi birimi ödüllendireceğine karar veriyor. Karar bir kamu politikasına taşındığında kalıcılaşıyor, çünkü politika bu puana göre kaynak dağıtıyor ve arkasındaki ölçüm düzeyi ile ağırlık kararı sorgulanmadan yıllarca kullanılabiliyor.

Türkiye bağlamı ve karşılaştırma

Türkiye'de kamu kurumlarının hizmet memnuniyetini ölçmek için kullandığı anketler, çoğu zaman doğrudan bir performans ölçütüne dönüşüyor, kurumun aldığı ortalama puan bütçe ya da personel kararlarını etkileyebiliyor. Bu anketlerin çoğu sıralı seçeneklerden oluşuyor ama ortalama, sanki ölçüm aralıklıymış gibi hesaplanıyor ve bu geçiş tartışılmıyor. Üniversite, il ya da belediye sıralamalarında kullanılan bileşik indekslerde benzer bir örüntü görülüyor, bileşenlerin hangi ağırlıkla toplandığı kamuoyuna nadiren açıklanıyor. Yazılı sınav puanları da benzer bir belirsizlik taşıyor, bir öğrencinin puanı ötekinden yüksek çıktığında bu farkın sıralı bir üstünlük mü yoksa aralıklı bir mesafe mi olduğu sorgulanmadan geçiliyor.

Aynı sorun Türkiye'ye özgü değil, başka ülkelerin kamu raporlarında da benzer bir biçimde karşımıza çıkıyor. Dünyada ülkeleri karşılaştırmak için kurulan bazı bileşik endekslerde bir ülkenin sıralaması, bileşenlere verilen ağırlık değiştirildiğinde belirgin biçimde yer değiştirebiliyor. Bu durum uluslararası karşılaştırmalarda bir uyarı taşıyor, iki ülke arasındaki fark bazen ölçülen gerçeklikten değil, endeksin nasıl toplandığından kaynaklanıyor.

Bu bilgiyi nasıl biliyoruz?

Bir ölçümün hangi düzeyde durduğu ve bir toplamın ağırlıklarının sonucu nasıl şekillendirdiği iddiası, denenebilir birkaç kontrol noktası taşıyor.

Yaygın hatalar

Aklında kalsın

1. Ölçüm düzeyi bir özelliğin kendisi değil, o özellik üzerindeki sayılarla hangi işlemin yapılabileceğinin sınırıdır.
2. Adsal düzeyde yalnızca aynılık ya da farklılık sorulabilir, sıralı düzeyde buna bir sıra, aralıklı düzeyde bir mesafe, oranlı düzeyde bir kat eklenir.
3. Sıralı bir cevabın ortalamasını almak, çoğu zaman fark edilmeden eşit aralık varsayımını kabul etmek anlamına gelir.
4. İndeks farklı unsurları bir araya getirir ve parçalar birbirinin yerini tutmaz, ölçek aynı unsurun farklı görünümlerini toplar ve maddeler birbirinin yerini büyük ölçüde tutabilir.
5. Bir toplamı eşit ağırlıkla kurmak da bir ağırlıklandırma kararıdır, ağırlıksız bir toplama değildir.
6. Bir indeksin toplam puanı yüksek çıktığında bile, altındaki bileşenlerden biri zayıf kalmış olabilir.
7. Ölçüm düzeyini yükseltmek daha çok istatistiksel işlem imkânı verir ama ölçümün altındaki gerçek yapıyı değiştirmez.

Sonraki derse köprü

Bu derste bir gösterge setini tek bir puana çevirmenin mantığını ve bu çevirmenin içine gizlenen ağırlık kararını gördük, ama puan bir kez kurulduktan sonra başka bir belirsizlik hâlâ yerinde duruyor. Hizmet kalitesi indeksi gerçekten hizmet kalitesini mi yakalıyor, yoksa başka bir şeyi mi ölçüyor gibi görünüyor? Aynı hasta, aynı ziyaret için yarın yeniden sorulsa aynı puanı mı verir, yoksa cevap günden güne kayar mı? Puanın bir sayı olarak önümüzde durması, bu belirsizliğe kendiliğinden bir cevap taşımıyor. Geçerlilik, güvenilirlik ve ölçüm hatası, tam bu belirsizliği ayırmak üzere devreye giriyor.