Geçerlilik, güvenilirlik ve ölçüm hatası

Açılış sahnesi

Bir ilçe devlet hastanesinin yoğun bakım servisinde gece vardiyası sürüyor, monitörlerin sesi koridora yayılıyor. Hemşireler her iki saatte bir hastanın yanına gidip ağrısını sıfırdan ona kadar puanlamasını istiyor. Sabah raporunda aynı hastanın puanları vardiyadan vardiyaya zikzak çiziyor, bir saatte düşük görünen ağrı bir sonraki saatte aniden yükseliyor. Başhemşire önce hastanın durumunun gerçekten değiştiğini düşünüyor, sonra çizelgeyi daha dikkatli okuyor. Bir hemşire soruyu yatağın başında göz göze sorarken bir başka hemşire koridordan seslenerek soruyor. Aynı serviste başka bir ölçüm daha var, konuşamayan ya da bilinci bulanık hastalar için yüz ifadesine bakılarak doldurulan bir form kullanılıyor. Bu form her vardiyada aynı yönde çalışıyor, ağrıyı olduğundan hep düşük gösteriyor ve bu sapma hiç değişmiyor. Başhemşire sonunda iki sorunun aynı türden olmadığını fark ediyor, biri her ölçümde başka bir yöne savruluyor, öbürü hiç savrulmadan hep aynı yere yanlış vuruyor.

Bu derste ne olacak

Yoğun bakım servisindeki gece vardiyası gerçek bir olayın kaydı değil, bu dersin ihtiyacına göre kurulmuş bir kurgu; servis de çizelge de uydurmadır. Sahne, iki ayrı ölçüm sorununu tek çizelgede karşı karşıya getirmek için kuruldu. Önceki ders, ayrı göstergelerden oluşan bir bütünü tek puana indirgeyen toplama işlemini ve içine gizlenen ağırlık kararını ele almıştı, sahnesi bir hastane memnuniyet raporuydu. O dersin kapanışında iki soru bilerek açık bırakılmıştı, kurulan puanın gerçekten ölçmek istediğimiz şeyi yakalayıp yakalamadığı ve aynı kişiye yeniden sorulduğunda aynı sonucu verip vermediği. Bu ders tam bu iki soruyu ayrı ayrı ele alıyor, önce ikisinin neden bağımsız sorular olduğuna bakacak, sonra ölçüm hatasının iki farklı karakterine, sonra da bu hatanın hangi düzeyde nasıl göründüğüne geçecek.

Sıfır noktası — iki ayrı soru

Bir ölçümün iki ayrı erdemi var ve bu ikisi birbirinin yerine geçmiyor, biri tutarlılıkla ilgili, öbürü isabetle. Yoğun bakım servisindeki zikzak çizen puanlar tutarlılık sorununu gösteriyor, aynı hasta neredeyse aynı ağrıyı hissederken puan vardiyadan vardiyaya sıçrıyor. Yüz ifadesi formu ise başka bir sorunu gösteriyor, form her vardiyada aynı sonucu veriyor ama bu sonuç gerçek ağrıyı yakalamıyor.

Bu iki durum, güvenilirlik ile geçerliliğin neden bağımsız sorular olduğunu gösteriyor. Güvenilir olmayan bir ölçüm zaten geçerli olamaz, çünkü sonuç her seferinde başka bir yere savrulduğunda hangi değer doğru bile bilinemez. Güvenilir bir ölçüm ise pekâlâ geçersiz kalabilir, hep aynı yere yanlış vurmak da bir tür tutarlılıktır.

Bu geçerlilik sorununun kökü, daha önce gördüğümüz kavram kaymasıyla aynı yerde duruyor: ölçülen dar işlemi, araştırmanın en başında kurulan geniş kavramın kendisi sanmakla. Form ağrıyı ölçtüğünü iddia eder ama aslında yalnızca yüz kaslarının görünür hareketini kaydeder ve bu iki şey her hastada aynı miktarda örtüşmez.

Mekanizma — sapmanın yönü

Ölçüm hatası, bir ölçümün ürettiği değer ile ölçülmek istenen gerçek değer arasındaki farktır ve bu fark hiçbir ölçümde tamamen sıfırlanmaz. Fark iki ayrı karaktere bürünebilir.

Sahnedeki iki sorun tam bu ayrımı örnekliyor. Vardiyadan vardiyaya sıçrayan puan rastlantısal hatanın izini taşıyor, yüz ifadesi formunun hep aynı yöne kayması ise sistematik hatanın izini taşıyor.

Sistematik hata bu yüzden rastlantısal hatadan daha tehlikeli sayılıyor, çünkü tutarlı olduğu için güvenilir görünüyor. Tekrar ölçmek onu ortaya çıkarmıyor, hata her tekrarda kendini aynen yeniden üretiyor. Onu bulmanın yolu, başka bağımsız bir araçla ölçüp iki sonucu karşılaştırmaktan geçiyor.

Bu sapma her hastada da aynı ölçüde görünmüyor. Formun altında yatan sistematik hata, konuşabilen hastalarda daha küçük, konuşamayan ya da bilinci bulanık hastalarda daha büyük bir kaymaya dönüşüyor ve bu da ölçümün kimin için ne kadar adil olduğu sorusunu açıyor.

Bir ölçümün geçerliliği tek bir sınavdan geçmiyor, birkaç ayrı açıdan sınanıyor. Kapsam geçerliliği, ölçümün kavramın bütün önemli yüzlerini kapsayıp kapsamadığına bakıyor, yüz ifadesi formu yalnızca görünür ifadeye baktığı için ağrının yüze yansımayan yönlerini kaçırabiliyor. Ölçüt geçerliliği, ölçümün bağımsız ve daha güvenilir kabul edilen başka bir ölçütle ne kadar örtüştüğüne bakıyor. Yapı geçerliliği, ölçümün kuramsal olarak beklenen ilişkileri gerçekten üretip üretmediğine bakıyor. Görünüş geçerliliği ise en gevşek sınamadır, ölçümün ilk bakışta ölçmek istediği şeyi ölçüyor gibi görünüp görünmediğini sorar ve tek başına yeterli sayılmaz.

Kuramsal mercekler

Bir ölçüm aracını değerlendirirken hangi soruyu öne çıkardığın, hangi kusuru önce fark edeceğini belirliyor. Bir yaklaşım şu soruyu soruyor, bu araç kendi içinde ne kadar tutarlı? Bu soru, bir aracı iyileştirmenin en hızlı yolu olarak tutarlılığı görüyor ve tutarlılık yükseldikçe aracın kendine güvenini artırıyor. Başka bir yaklaşım farklı bir soru soruyor, bu araç gerçekten iddia ettiği kavramı mı ölçüyor, yoksa ona yakın duran başka bir şeyi mi? Bu soru tutarlılığı yeterli görmüyor, aracın kuramsal olarak beklenen ilişkileri üretip üretmediğini sınamadan onaylamıyor.

Bu iki bakış birbirini dışlamıyor, bir aracı hem tutarlılık hem isabet açısından sınamak mümkün. Ama bir ekip yalnızca birine odaklanırsa öbür sorunun gözden kaçması kolaylaşıyor.

Ölçek

Aynı ölçüm hatası birey, kurum ve toplum düzeyinde apayrı sonuçlar doğuruyor, ama bu düzeyler birbirinin büyütülmüş hâli değil, birbirinden bağımsız birer sahne.

Birey düzeyinde bir hastanın günlük çizelgesi söz konusu, sistematik olarak düşük görünen bir ağrı puanı o hastaya verilecek ağrı kesici kararını doğrudan etkileyebiliyor. Kurum düzeyinde tek bir hastanın çizelgesi değil, birden çok servisin ortalama puanları karşılaştırılıyor ve bu karşılaştırma hangi servisin daha iyi çalıştığına dair bir yargıya dönüşüyor. Toplum düzeyinde ise birçok kurumdan toplanan kayıtlar bir araya geliyor ve bu kayıtlar bir sağlık politikasının hangi bölgeye öncelik vereceğine zemin oluşturuyor.

Bu sahneler aynı sistematik hatanın izini taşıyor, ama hatanın sonucu her düzeyde başka bir biçime bürünüyor: birey düzeyinde bir karar yanlış yöne kayıyor, kurum düzeyinde bir karşılaştırma çarpılıyor, toplum düzeyinde bir kaynak dağıtımı yanlış zemine oturuyor.

Türkiye bağlamı ve karşılaştırma

Türkiye'de yabancı dilde hazırlanmış bir ölçeği kullanıma almak çoğu zaman yalnızca çeviri işlemine indirgeniyor, oysa çeviri ile uyarlama aynı şey değil. Bir madde birebir çevrildiğinde dil bilgisi açısından doğru olabilir, ama çevrilen ifade başka bir kültürde farklı bir davranışı ya da farklı bir tutumu işaret edebiliyor, bu da ölçeğin Türkiye'deki geçerliliğini baştan sarsıyor. Uyarlama, maddenin yalnız dilini değil, maddenin işaret ettiği gündelik anlamı da yerine oturtmayı gerektiriyor.

Görüşmecinin kim olduğu da cevabı sistematik olarak kaydırabiliyor, sorunun resmî bir kurumdan mı yoksa tanıdık bir sağlık çalışanından mı geldiği hastanın ağrısını abartma ya da küçümseme eğilimini değiştirebiliyor.

İdari kayıtlar da benzer bir sistematik hata taşıyabiliyor. Bir hastalığın resmî kayıtlara geçme oranı, sağlık kurumuna erişimin güç olduğu bölgelerde düşük görünebiliyor, oysa hastalığın kendisi o bölgede daha az yaygın olmayabilir. Kayıt sistemi erişimi kolay bölgelerdeki vakaları daha eksiksiz yakaladığı için bu fark, bölgeler arası bir karşılaştırmada hastalığın kendisiyle ilgiliymiş gibi okunuyor, oysa iz ölçülen gerçekliğin değil ölçme sürecinin izidir.

Aynı sorun uluslararası karşılaştırmalarda da karşımıza çıkıyor. Aynı ölçek farklı ülkelerde uygulandığında, bir cevabı söylemek bir kültürde sıradan sayılırken başka bir kültürde ayıp sayılabiliyor, bu da ülkeler arasındaki farkın gerçek durumdan mı yoksa ölçeğin taşıdığı farklı bir sistematik hatadan mı geldiğini belirsizleştiriyor.

Bu bilgiyi nasıl biliyoruz?

Güvenilirlik iddiasının arkasında varsayım değil, birkaç somut sınama duruyor ve her sınama farklı bir tutarsızlık türünü hedefliyor.

Geçerlilik ise başka bir sınamayı gerektiriyor, çünkü tutarlı olmak isabetli olmak anlamına gelmiyor. Ölçümü, aynı kavramı farklı bir yoldan yakalayan bağımsız bir ölçütle karşılaştırmak, formun gerçekten iddia ettiği şeyi mi yoksa ona yakın duran başka bir şeyi mi ölçtüğünü ortaya koyabiliyor. Yüz ifadesi formunun sözel bildirimle örtüşmesi konuşabilen hastalarda sınandığında, formun konuşamayan hastalarda aynı isabeti taşıyıp taşımadığı ayrı bir sınama gerektiriyor.

Yaygın hatalar

Aklında kalsın

1. Güvenilirlik ölçümün tutarlılığını, geçerlilik ölçümün isabetini gösterir ve bu ikisi birbirinden bağımsız sorulardır.
2. Güvenilir olmayan bir ölçüm geçerli olamaz, ama güvenilir bir ölçüm hep aynı yere yanlış vurarak geçersiz kalabilir.
3. Rastlantısal hata ölçümden ölçüme yön değiştirir ve güvenilirliği düşürür, sistematik hata hep aynı yönde tekrarlanır ve geçerliliği düşürür.
4. Sistematik hata tutarlı göründüğü için fark edilmesi zordur, onu bulmak tekrar ölçmekle değil başka bir ölçütle karşılaştırmakla mümkün olur.
5. Aynı ölçüm hatası birey, kurum ve toplum düzeyinde birbirinden bağımsız ve farklı sonuçlar doğurabilir.
6. Bir ölçek başka bir dilden çevrildiğinde yalnız dili değil, maddenin işaret ettiği gündelik anlamı da yeni bağlama oturtmak gerekir.
7. Geçerlilik bir kez kanıtlanmış bir özellik değildir, uygulandığı her yeni grup ve bağlam için yeniden sınanması gerekir.

Sonraki derse köprü

Bir ölçüm aracının güvenilir ve geçerli olması, o aracın nasıl kullanılacağı sorusunu kendiliğinden cevaplamıyor. Aynı ağrı sorusu bir hastaya bir kez mi sorulacak, aynı hasta günler boyunca mı izlenecek, yoksa bir müdahale uygulanan ve uygulanmayan iki grup mu karşılaştırılacak, bu seçenekler birbirinden çok farklı bir sonuç türü üretiyor. Aracın kendisi ne kadar sağlam olursa olsun, ne zaman ve kimleri karşılaştırarak ölçüldüğü apayrı bir seçimdir, hangi sonucun çıkarılabileceğini de bu seçim belirler.