Güvenirlik ve geçerlik

Açılış sahnesi

Eskişehir'de bir belediyenin insan kaynakları biriminde çalışan Nermin Hanım, personelin iş stresini ölçmek için bir anket hazırlıyor. Önünde iki hazır ölçek var. Birincisinin tanıtım metninde tek bir sayı yazıyor: "Cronbach alfası .94." İkincisinin alfası .78, ama yanında başka bilgiler de var: aynı kişilere üç hafta arayla uygulandığında puanların ne kadar örtüştüğü, iş arkadaşlarının değerlendirmeleriyle ilişkisi ve sonraki altı ayda alınan raporlu gün sayısını ne ölçüde öngördüğü.

Nermin Hanım ilk ölçeğe yöneliyor. ".94, .78'den büyük," diyor kendi kendine, "demek ki daha iyi ölçüyor." Sonra birinci ölçeğin maddelerini okuyor: "İşte gerginim", "İş yerinde gerginlik hissediyorum", "Çalışırken kendimi gergin buluyorum", "İşim beni geriyor." Yirmi madde var ve neredeyse hepsi aynı cümlenin başka bir söylenişi.

Nermin Hanım da, iki ölçek de bu ders için tasarlandı; ama büyük bir sayıyı iyi bir ölçümle karıştırmak, ölçek seçen herkesin bir gün düştüğü bir tuzak.

Bu derste ne olacak

Önceki derste bir ölçeğin madde havuzundan normlara kadar nasıl üretildiğini izledik. Bu derste ürünün denetimine geçiyoruz: bir ölçeğin sonuçlarının ne kadar tutarlı olduğunu ve ölçtüğünü söylediği şeyi ne kadar ölçtüğünü hangi kanıtlarla gösterdiğini inceleyeceğiz.

Terapi Akademisi'nin ölçme dersinde güvenilirlik ile geçerlik arasındaki temel ayrım, kesme puanları ve tarama araçlarının duyarlılığı ele alındı; o ayrımı burada yeniden kurmayacağız. Bu derste güvenirliğin türlerine, bir güvenirlik katsayısının neyi söyleyip neyi söylemediğine ve geçerliğin tek bir sayı değil, farklı kaynaklardan biriktirilen bir kanıt dosyası olduğuna odaklanacağız.

Sıfır noktası

Her ölçüm iki parçadan oluşuyor: ölçmek istediğimiz şeyin gerçek düzeyi ve onun üstüne binen hata. Bir kişinin bir stres ölçeğinden aldığı puan, onun gerçek stres düzeyine o gün uykusuz olmasının, bir maddeyi yanlış anlamasının, ölçeği doldururken aklının başka yerde olmasının etkisi eklenerek oluşuyor. Klasik test kuramı denen yaklaşım, bu tabloyu basit bir toplama olarak düşünüyor: gözlenen puan, gerçek puan ile rastlantısal hatanın toplamı.

Güvenirlik, bu toplamda hatanın ne kadar küçük olduğunu soruyor. Hata rastlantısal olduğu için, aynı ölçümü tekrarladığımızda bazen bir yöne bazen öbür yöne kayıyor. Hata küçükse tekrarlanan ölçümler birbirine yakın düşüyor; büyükse dağılıyor.

Geçerlik ise başka bir soru soruyor: hatadan arındırılmış olan o "gerçek puan" gerçekten neyin puanı? Bir ölçek hiç rastlantısal hata içermeden, her seferinde aynı sonucu verip ölçmek istediğinden başka bir şeyi ölçebilir. Güvenirlik bir ölçümün ne kadar sabit durduğunu, geçerlik ise nereye bastığını söylüyor.

Mekanizma

Zaman içinde tutarlılık

Güvenirliğe bakmanın ilk yolu, aynı ölçeği aynı kişilere belli bir süre arayla yeniden uygulamak.

Bu yöntemin iki ayrı zayıf noktası var. Aralık kısa tutulursa insanlar ilk uygulamada verdikleri cevapları hatırlayıp tekrarlıyor ve tutarlılık olduğundan yüksek görünüyor. Aralık uzun tutulursa ölçülen özellik gerçekten değişebiliyor ve tutarlılık olduğundan düşük görünüyor. Bu yüzden test-tekrar test katsayısı her zaman bir aralıkla birlikte okunmalı: "iki haftada .85" ile "iki yılda .85" aynı şeyi söylemiyor.

Aynı ölçeğin birbirine denk iki ayrı formu da hazırlanabiliyor: aynı kavramı ölçen, benzer güçlükte ama farklı maddelerden oluşan iki sürüm. İki form arasındaki korelasyon, hatırlama etkisinden kurtulmuş bir tutarlılık ölçüsü veriyor. Böyle formlar özellikle aynı kişilerin defalarca sınandığı başarı testlerinde kullanılıyor; ama iki gerçekten denk form yazmak, tek bir iyi form yazmaktan çok daha zahmetli.

Maddeler arasında tutarlılık

İkinci yol, ölçeği tek bir uygulamada, maddelerin birbirleriyle ne kadar uyum içinde olduğuna bakarak değerlendirmek.

Alfa katsayısının mantığı şöyle: bir ölçeği rastgele iki yarıya bölüp iki yarının puanları arasındaki korelasyona bakabilirsiniz. Ama bu bölme pek çok farklı biçimde yapılabiliyor ve her bölme biraz farklı bir sonuç veriyor. Cronbach'ın 1951 tarihli makalesi, alfanın olası bütün ikiye bölmelerin ortalamasına karşılık geldiğini gösterdi. Bu makale, yayımlandığı psikometri dergisinin en çok atıf alan makalesi oldu.

Alfanın yaygınlığı, onun ne söylediğinin sık sık yanlış okunmasıyla birlikte geldi. Üç noktaya dikkat etmek gerekiyor.

Bu sınırlar nedeniyle bugün pek çok araştırmacı, maddelerin her birinin ortak boyuta farklı ağırlıkla bağlanmasına izin veren omega katsayısı gibi alternatifleri öneriyor. Ama hangisi seçilirse seçilsin, iç tutarlılık katsayısı bir ölçeğin kanıt dosyasının yalnızca bir sayfası.

Hatanın birey düzeyindeki karşılığı

Güvenirlik katsayısı bir gruba ilişkin bir sayı. Tek bir kişinin puanını yorumlayan biri için daha işe yarar soru şu: bu kişinin puanı, gerçek düzeyinden ne kadar sapmış olabilir?

Varsayımsal bir örnek: standart sapması 15 olan ve güvenirliği .90 olan bir zekâ testinde ölçmenin standart hatası yaklaşık 4,7 puan. Bu, 100 puan alan bir kişinin gerçek puanının, kabaca üçte iki olasılıkla 95 ile 105 arasında, yaklaşık yüzde doksan beş olasılıkla 91 ile 109 arasında bir yerde olduğu anlamına geliyor. Güvenirlik .70'e düşseydi aynı aralık neredeyse iki katına çıkardı.

Bu bulgu, bu dersin iki güvenirlik türünün birbirinin yerine geçmediğini gösteriyor: bir ölçüm aynı oturumda kendi içinde tutarlı olup haftalar içinde dağılabiliyor.

Usta katmanı

Geçerlik bir kanıt dosyası

Eski ders kitapları geçerliği türlere ayırarak anlatıyordu: kapsam geçerliği, ölçüt geçerliği, yapı geçerliği. Bugünkü ölçme standartları, eğitim ve psikoloji alanındaki meslek örgütlerinin birlikte yayımladığı kılavuz başta olmak üzere, geçerliği tek bir bütün olarak görüyor: bir ölçeğin puanlarına yüklenen belirli bir yorumun ne ölçüde desteklendiği. O eski türler artık bu yorumu destekleyen farklı kanıt kaynakları olarak okunuyor.

Kapsam geçerliği, "maddeler kavrama benziyor mu" sorusundan farklı. Bir ölçeğin maddelerinin ilk bakışta ölçtüğü şeye benzemesi, ölçek kullananların "görünüş geçerliği" dediği şey, bir kanıt sayılmıyor; maddeleri okuyan birinin izlenimine dayanıyor. Kapsam geçerliği ise kavramın önceden yapılmış bir tanımıyla maddelerin sistematik olarak karşılaştırılmasını gerektiriyor.

Nermin Hanım'ın ikinci ölçeğinin raporlu gün sayısını öngörmesi, yordayıcı geçerliğe bir örnek. Ama burada da dikkat gerekiyor: ölçütün kendisi de bir ölçüm ve kendi hatalarını taşıyor. Raporlu gün sayısı strese olduğu kadar bedensel hastalıklara, işyeri kurallarına ve yöneticinin tutumuna da bağlı.

Bu son noktanın matematiksel bir karşılığı var: bir ölçeğin herhangi bir ölçütle korelasyonu, kabaca kendi güvenirlik katsayısının karekökünü aşamıyor. Güvenirliği .49 olan bir ölçek, kusursuz bir ölçütle bile .70'in üstünde bir ilişki gösteremez. Güvenirlik geçerliğin bir tavanı.

Kavramın ağı

Kişilik özellikleri, zekâ ya da kaygı gibi kavramlar doğrudan gözlenemiyor; onları ancak dolaylı işaretlerinden çıkarıyoruz. Lee Cronbach ve Paul Meehl 1955'te yayımladıkları bir makalede, böyle bir kavramı ölçtüğü iddia edilen bir ölçeğin geçerliğinin tek bir ölçütle değil, kavramın kuramsal olarak ilişkili olması gereken başka kavramlarla oluşturduğu bir ağ içinde sınanması gerektiğini savundu. Bu ağa "nomolojik ağ" dediler: kavram neyle ilişkili olmalı, neyle ilişkisiz olmalı, hangi koşullarda yükselip düşmeli.

1959'da Donald Campbell ve Donald Fiske, bu ağı sınamanın somut bir yolunu önerdi. Birden fazla özellik, birden fazla yöntemle ölçülüyor ve bütün ölçümler arasındaki korelasyonlar tek bir tabloya diziliyor.

Campbell ve Fiske bu matriste iki tür kanıt ayırdı. Aynı özelliğin farklı yöntemlerle ölçümleri birbirleriyle ilişkili çıkmalı; buna yakınsak geçerlik dediler. Farklı özelliklerin ölçümleri, özellikle de aynı yöntemle ölçüldüklerinde, birbirlerinden ayrışmalı; buna ayırt edici geçerlik dediler.

Raporlanmayan sınamalar

Yayımlanmış araştırmalarda bir ölçeğin kalitesine dair çoğu zaman yalnızca tek bir sayı veriliyor: alfa. Jessica Flake ve meslektaşlarının 2017'de yayımladığı bir inceleme, kişilik ve sosyal psikoloji alanındaki önde gelen bir dergide yayımlanan makalelerde, ölçeklerin geçerlik kanıtının çoğu zaman eksik bırakıldığını ve alfanın sıklıkla raporlanan tek psikometrik bilgi olduğunu gösterdi.

Flake ile Eiko Fried 2020'de bu tabloyu "şüpheli ölçme uygulamaları" diye adlandırdı: bir ölçeğin nasıl seçildiğini, hangi maddelerinin atıldığını, puanlarının nasıl hesaplandığını açıklamamak ya da bir ölçeği hiçbir gerekçe vermeden değiştirmek. Bu kararlar sonuçları istenen yöne çekebiliyor ve okurun bunu görmesi neredeyse imkânsız oluyor.

Kanıtın sınırı

Güvenirlik ve geçerlik kavramları, yaklaşık yetmiş yıldır ölçme kuramının merkezinde duruyor ve büyük ölçüde üzerinde uzlaşılmış bir çerçeve sunuyor. Ama bu çerçevenin uygulanması, birçok noktada tartışmalı kararlara bağlı.

İlk sınır, "yeterli" bir güvenirliğin ne olduğu konusunda tek bir eşik bulunmaması. Sıkça alıntılanan .70 ya da .80 gibi değerler, ölçümün amacından bağımsız olarak verilmiş kurallar değil. Grup ortalamalarını karşılaştıran bir araştırma için kabul edilebilir bir güvenirlik, tek bir kişiye tanı koymak ya da onun okulunu, işini, tedavisini belirlemek için kullanılan bir ölçümde kabul edilemez olabiliyor.

İkinci sınır, yapı geçerliğinin döngüsel bir yanının bulunması. Bir ölçeğin geçerliğini sınamak için kuramsal olarak ilişkili olması gereken başka kavramlara bakıyoruz; ama o kavramların kendisi de başka ölçeklerle ölçülüyor ve onların geçerliği de aynı biçimde sınanıyor. Bu ağ bir bütün olarak güçleniyor ya da zayıflıyor; hiçbir ölçek, ağın dışındaki kesin bir dayanak noktasına bağlanamıyor.

Üçüncü sınır, Hussey ve Hughes'un çalışması etrafındaki tartışmada görüldüğü gibi, hangi istatistiksel sınamanın hangi ölçek için uygun olduğu konusunda uzmanların da her zaman anlaşamaması. Bir ölçeğin faktör yapısı ya da gruplar arası denkliği için kullanılan ölçütler, bir ölçeğin "geçti" ya da "kaldı" sayılmasını belirgin biçimde değiştirebiliyor. Bu nedenle bir ölçeğin kanıtını okurken, yalnızca hangi sınamalara tabi tutulduğuna değil, o sınamaların hangi ölçütlerle değerlendirildiğine de bakmak gerekiyor.

Kendin dene

Aklında kalsın

Her ölçüm, gerçek düzey ile rastlantısal hatanın toplamı; güvenirlik bu hatanın ne kadar küçük olduğunu, geçerlik ise hatadan arınmış puanın gerçekten neyi gösterdiğini soruyor.

Test-tekrar test güvenirliği zaman içindeki kararlılığı, iç tutarlılık ise maddelerin aynı uygulamadaki uyumunu ölçüyor; biri öbürünün yerine geçmiyor ve test-tekrar test katsayısı daima aralığıyla okunmalı.

Alfa madde sayısıyla yükseliyor, tek boyutluluğu göstermiyor ve çok yüksek değerleri bazen kapsamın darlığına işaret ediyor.

Ölçmenin standart hatası, tek bir kişinin puanının ne kadar oynayabileceğini gösteriyor; eşiğin iki yanına düşen yakın puanlar kesin bir ayrım değil.

Geçerlik, bir puana yüklenen belirli bir yorumu destekleyen kanıtların toplamı: kapsam, dışsal ölçütlerle ilişki, kavramın ilişki ağına uyum ve kullanımın sonuçları.

Güvenirlik geçerliğe bir tavan koyuyor; ama yaygın bir ölçeğin bile kanıt dosyası çoğu zaman yalnızca bir iki sayfadan oluşuyor.

Sonraki derse köprü

Bu dersin bütün araçları, cevapları önceden belirlenmiş maddelere dayanan ölçekler için geliştirildi: bir kişi "katılıyorum" ya da "katılmıyorum" diyor ve puan doğrudan hesaplanıyor. Bazı kişilik testleri ise kişiye belirsiz bir mürekkep lekesi ya da bir resim gösterip ne gördüğünü anlatmasını istiyor ve cevabı bir uzman yorumluyor.

Böyle bir cevabın güvenirliği, iki uzmanın aynı cevabı aynı biçimde puanlayıp puanlamadığına da bağlı hale geliyor. Bu testler, kişinin farkında olmadığı yanlarını ortaya çıkardıkları iddiasıyla on yıllardır kullanılıyor ve bu dersin ölçütleriyle sınandıklarında nasıl bir tablo çıktığı hâlâ tartışılıyor. Sıradaki dersin konusu: projektif testler tartışması.