Bir test nasıl geliştirilir

Açılış sahnesi

Sakarya'da bir ortaokulun rehberlik servisi. Psikolojik danışman Elçin Hanım, son iki yılda sınav dönemlerinde bitkin, okula isteksiz ve derslerden kopmuş öğrencilerin sayısının arttığını düşünüyor; ama bunu bir sayıyla gösteremiyor. Bir gün bir çalışma arkadaşıyla oturup kendi "okul yorgunluğu ölçeğini" yazmaya karar veriyorlar. İlk akşam otuz cümle yazıyorlar: "Sabahları okula gitmek istemiyorum", "Derslerde aklım başka yerde", "Ödevlerim beni bunaltıyor".

Ertesi hafta ölçeği bir sınıfa uyguluyorlar. Sonuçlara baktıklarında bazı cümlelere neredeyse herkesin "kesinlikle katılıyorum" dediğini, bazılarının ise birbirleriyle hiç ilgisi olmayan cevaplar aldığını görüyorlar. Bir öğrenci de bir maddenin altına not düşmüş: "Hocam, bu soruyu anlamadım." Elçin Hanım, bir ölçek yazmanın sandığından çok daha zor olduğunu fark ediyor.

Elçin Hanım'ın ölçeği ve o okul bu ders için kurgulandı. Ama karşılaştığı sorunlar, psikolojide ölçek geliştiren herkesin aşmak zorunda olduğu adımların neredeyse hepsini kapsıyor.

Bu derste ne olacak

Bu derste, bir psikolojik ölçeğin, kavramın tanımlanmasından madde yazımına, deneme uygulamasından norm oluşturmaya kadar nasıl geliştirildiğini adım adım inceleyeceğiz.

Likert tipi maddeler, sosyal beğenirlik yanlılığı ve norm grubu gibi kavramlar bu serinin araştırma yöntemleri ve istatistik modüllerinde tanımlandı; bir ölçeğin güvenirliği ve geçerliği ise bir sonraki dersin konusu olacak. Burada bir ölçeğin üretim sürecine odaklanacağız. Önce ne ölçmek istediğimizi tanımlamanın ve madde yazmanın inceliklerini göreceğiz. Sonra maddelerin nasıl seçildiğine ve iki farklı geliştirme mantığına bakacağız. Son bölümde, puanların nasıl yorumlanacağını belirleyen norm oluşturma sürecine ve bir ölçeğin başka bir dile uyarlanmasına geçeceğiz.

Sıfır noktası

Bir ölçek geliştirmenin ilk adımı, ölçülmek istenen şeyin ne olduğunu açıkça tanımlamak. "Okul yorgunluğu" dediğimizde neyi kastediyoruz? Bedensel bir bitkinliği mi, derslere karşı bir isteksizliği mi, yoksa okulla ilgili her şeye karşı genel bir umursamazlığı mı? Bu soruların cevabı verilmeden yazılan maddeler, birbirinden farklı şeyleri ölçebilir.

Psikolojideki pek çok kavram doğrudan gözlemlenemiyor; zekâ, kaygı ya da dışadönüklük gibi kavramlar, gözlemlenebilir davranışlardan ve kişinin kendi bildirimlerinden çıkarılan kuramsal yapılar. Bu yüzden ölçek geliştirme, kavramın sınırlarını çizmekle başlıyor: neyi kapsıyor, neyi kapsamıyor, hangi kavramlardan ayrılıyor?

Mekanizma

Madde yazmak

Kavram tanımlandıktan sonra, onu ölçecek maddeler yazılıyor. Lee Anna Clark ve David Watson, 1995'te ölçek geliştirme üzerine yazdıkları ve çok alıntılanan bir makalede, başlangıçta yazılan madde sayısının son ölçekte kalacak madde sayısından çok daha fazla olması gerektiğini vurguladı.

Clark ve Watson'a göre madde havuzu, ölçülmek istenen kavramdan biraz daha geniş tutulmalıydı; çünkü kavramın sınırlarına yakın maddelerin hangilerinin gerçekten kavrama ait olduğu, ancak veriler toplandıktan sonra anlaşılabiliyordu.

Madde yazımında bazı genel kurallar var: her madde tek bir fikri anlatmalı, gereksiz yere uzun ya da karmaşık olmamalı, çift olumsuzluk içermemeli ve yanıtlayanın anlayabileceği bir dilde yazılmalı. Bir maddede iki farklı soru bir arada sorulduğunda, yanıtlayan hangisine cevap vereceğini bilemiyor.

Evet deme eğilimi

Madde yazımında karşılaşılan önemli sorunlardan biri, bazı insanların maddelerin içeriğinden bağımsız olarak "katılıyorum" deme eğilimi.

Bu sorunu azaltmanın bir yolu, bazı maddeleri ölçülen kavramın ters yönünde yazmak.

Ters puanlanan maddeler onaylama eğilimini dengelemeye yardım ediyor; ama kendi sorunlarını da getiriyor. Bazı yanıtlayanlar ters maddeleri dikkatsizce okuyup yanlış yönde cevaplayabiliyor ve bazı kültürlerde ve yaş gruplarında bu maddeler ölçeğin yapısını bozan ayrı bir öbek oluşturabiliyor.

Cevap seçeneklerinin etkisi

Yalnızca maddelerin değil, cevap seçeneklerinin nasıl sunulduğu da sonuçları etkileyebiliyor.

Usta katmanı

Maddeleri ayıklamak

Madde havuzu hazırlandıktan sonra, maddeler uzmanlara ve hedef kitleden küçük bir gruba gösteriliyor; anlaşılmayan, belirsiz ya da kavramla ilgisiz görünen maddeler ayıklanıyor. Ardından ölçek daha geniş bir örnekleme uygulanıyor ve maddelerin istatistiksel özellikleri inceleniyor.

Bu incelemenin temel araçlarından biri, her maddenin ölçeğin geri kalanıyla ne kadar uyumlu olduğuna bakmak.

Ayrıca neredeyse herkesin aynı cevabı verdiği maddeler de ayıklanıyor; bir maddeye bütün katılımcılar "kesinlikle katılıyorum" diyorsa, o madde insanlar arasındaki farkları ayırt etmekte işe yaramıyor. Açılıştaki Elçin Hanım'ın fark ettiği sorun tam olarak buydu. Son olarak, faktör analizi gibi yöntemlerle maddelerin tek bir boyutta mı yoksa birden fazla alt boyutta mı toplandığına bakılıyor.

İki farklı mantık

Ölçek geliştirmede iki temel yaklaşım var. Birinde, maddeler bir kuramdan yola çıkarak yazılıyor ve ölçülmek istenen kavramın içeriğini yansıtmaları bekleniyor. Ötekinde ise maddeler, içeriklerine bakılmaksızın, iki grubu birbirinden ayırt edip etmediklerine göre seçiliyor.

Norm ve standartlaştırma

Bir ölçeğin son hali belirlendikten sonra, alınan puanların ne anlama geldiğini anlamak için bir karşılaştırma tabanı gerekiyor. Okul yorgunluğu ölçeğinde kırk puan almak yüksek mi, düşük mü? Bu soruyu cevaplamak için ölçek, hedef kitleyi temsil eden geniş bir gruba uygulanıyor ve bu grubun puan dağılımı bir karşılaştırma ölçütü olarak kullanılıyor.

Standartlaştırma, ölçeğin her uygulamada aynı yönergelerle, aynı sürede ve aynı koşullarda verilmesini de kapsıyor. Yönergelerin farklı okunması ya da sürenin farklı tutulması, aynı kişinin farklı puanlar almasına yol açabiliyor.

Başka bir dile taşımak

Bir ölçeğin başka bir dilde kullanılması, yalnızca maddelerin çevrilmesinden çok daha fazlasını gerektiriyor. Richard Brislin'in 1970'te önerdiği yöntem, bu sürecin yaygın bir adımı haline geldi.

Ama geri çeviri tek başına yeterli değil; bir maddenin dilsel olarak doğru çevrilmesi, aynı kavramı aynı biçimde ölçtüğü anlamına gelmiyor. Bu yüzden uyarlanan ölçeğin yeni dilde de pilot uygulamalarla, madde analizleriyle ve yeni normlarla sınanması gerekiyor.

Kanıtın sınırı

Ölçek geliştirmede madde yazımının, cevap seçeneklerinin ve uygulama koşullarının sonuçları belirgin biçimde etkileyebildiği iyi belgelenmiş. Geniş bir madde havuzuyla başlamak, maddeleri istatistiksel olarak ayıklamak ve temsili normlar oluşturmak, ölçek geliştirmenin yerleşik ilkeleri.

Ama ölçek geliştirme her adımda araştırmacının kararlarını gerektiriyor: kavramın nasıl tanımlanacağı, hangi maddelerin kalacağı, kaç boyut aranacağı ve normların hangi gruptan oluşturulacağı. Bu kararların farklı verilmesi, aynı kavram için farklı ölçeklerin ortaya çıkmasına yol açabiliyor. Ayrıca bir ölçeğin özenle geliştirilmiş olması, onun güvenilir ve geçerli olduğunu tek başına göstermiyor; bu, ayrı kanıtlar gerektiriyor.

Kendin dene

Aklında kalsın

Bir ölçek geliştirmenin ilk adımı, ölçülmek istenen kavramı ve onun sınırlarını, ona yakın kavramlardan ayırarak açıkça tanımlamak.

Maddeler, kavramın bütün yönlerini kapsayan geniş bir madde havuzu olarak yazılıyor; her madde tek bir fikri, açık ve anlaşılır bir dille anlatmalı.

Onaylama eğilimi gibi yanıt alışkanlıklarını dengelemek için ters puanlanan maddeler kullanılıyor; cevap seçeneklerinin aralığı ve biçimi de sonuçları etkileyebiliyor.

Maddeler, madde-toplam korelasyonu, ayırt edicilik ve faktör analizi gibi yöntemlerle ayıklanıyor; ampirik anahtarlama ise maddeleri içeriklerine değil, grupları ayırt etme güçlerine göre seçiyor.

Puanların anlamı, temsili bir gruptan oluşturulan normlarla ve standartlaştırılmış uygulama koşullarıyla belirleniyor; başka bir dile uyarlanan ölçekler, yeni dilde yeniden sınanmalı.

Sonraki derse köprü

Bu derste bir ölçeğin nasıl üretildiğini gördük. Ama bir ölçeğin özenle yazılmış maddeleri ve geniş bir norm grubu olması, onun tutarlı sonuçlar verdiğini ve ölçmek istediği şeyi gerçekten ölçtüğünü göstermiyor.

Aynı kişi bir ölçeği iki hafta arayla doldurduğunda benzer bir puan alıyor mu? Bir okul yorgunluğu ölçeğinden yüksek puan alan bir öğrencinin gerçekten derslerinden koptuğunu nasıl bilebiliriz? Bir ölçeğin kanıtını okumanın yollarını, sıradaki dersimizde açıyoruz: güvenirlik ve geçerlik.