Deneysel, kesitsel, boylamsal ve vaka tasarımları

Açılış sahnesi

Bir ilçe halk eğitim merkezi, işsiz gençlere yönelik yeni bir meslek kursu açıyor ve kursun gerçekten işe yaradığını öğrenmek istiyor. Toplantı masasında dört ayrı öneri duruyor ve her biri aynı soruyu farklı bir yoldan yanıtlamaya çalışıyor. Birinci öneri, kursu bitirenlerle hiç başlamamış ya da yarıda bırakmış gençlere bugün aynı soruyu sorup ikisinin iş bulma durumunu tek bir günde karşılaştırmaktır. İkinci öneri, kursa yeni başlayan gençleri iki yıl boyunca izlemek ve her altı ayda bir arayıp durumlarını sormaktır. Üçüncü öneri, başvuru sayısı kontenjanı aştığı için bir kura torbası kurmak, kurayı kazananları bu döneme kaybedenleri bir sonraki döneme almak ve iki grubu zaman içinde karşılaştırmaktır. Dördüncü öneri ise kursu bitirip kendi işini kuran üç genci ve kursu bitirip hâlâ iş arayan üç genci uzun uzun dinlemektir. Merkezin müdürü birinci öneriyi savunuyor, çünkü masadaki en hızlı ve en ucuz yol bu görünüyor. Odadaki bir danışman itiraz ediyor, kursa kendi isteğiyle gelen bir gencin zaten daha kararlı olabileceğini, dolayısıyla iş bulma farkının kurstan mı yoksa gencin baştan taşıdığı azimden mi geldiğinin belirsiz kaldığını söylüyor. Kurs öğretmeni ise kura fikrine temkinli yaklaşıyor, çünkü bir sonraki döneme kalan gençlerin bu süre boyunca ne yapacağını kimse bilmiyor.

Bu derste ne olacak

Toplantı odasındaki bu tartışma kendi başına var olmuş bir olay değildir, dört tasarımın birbirinden neyi karşılaştırarak ayrıldığını göstermek için burada kurulmuş bir kurgudur ve masadaki roller de bu amaç için seçilmiştir. Önceki derste bir ölçüm aracının isabetini geçerlilik, tutarlılığını güvenilirlik olarak ayırmış ve bir puanın hangi hatayı taşıdığını sormuştuk. Orada açık kalan soru ölçünün kendisiyle değil kullanımıyla ilgiliydi: kusursuz bir aracı bile ne zaman ve kimlerle karşılaştırarak işlettiğimiz hâlâ karara bağlanmamıştı. Bu ders tam o noktadan devam ediyor ve dört karşılaştırma biçiminin, kesitsel, boylamsal, deneysel ve vaka tasarımının, neyi karşılaştırdığı bakımından ayrıldığını gösteriyor. Önce bir karşılaştırmanın hangi soruyu yanıtlayabildiğine, sonra dört tasarımın iç mantığına, ardından bu tasarımları savunan iki araştırma duruşuna bakacağız. Son bölümde aynı kararın farklı zaman aralıklarında nasıl başka bir anlam kazandığını göreceğiz.

Sıfır noktası — neyi neyle karşılaştırıyoruz

Bir karşılaştırmanın gücü, neyin neyle yan yana konduğuna bağlıdır ve bu seçim sorunun kendisiyle birlikte doğar. Toplantı odasındaki dört öneri aynı soruyu değil, dört ayrı soruyu yanıtlamaya aday oluyor, çünkü her biri farklı bir çifti karşılaştırmayı öneriyor. Bir öneri aynı anda farklı kişileri, bir başkası aynı kişileri farklı zamanlarda, üçüncüsü şansla ayrılmış iki grubu, dördüncüsü birkaç kişinin anlattığı süreci karşılaştırmayı öneriyor. Bu farkın merkezinde iki kavram duruyor ve bu iki kavram dersin geri kalanında sürekli geri dönecek.

Mekanizma — dört tasarımın iç mantığı

Toplantı masasındaki her öneri farklı bir çifti karşılaştırmaya dayanıyor ve bu fark her tasarımın hangi soruya güvenle cevap verebileceğini belirliyor.

Boylamsal tasarım aynı soruyu zaman boyutuna yayarak yanıtlamaya çalışıyor.

Deneysel tasarım ise önceki derste gördüğümüz karşıolgusal karşılaştırma mantığının doğrudan tasarıma dökülmüş hâlidir.

Vaka tasarımı ise öbür üç tasarımın hiçbirinin yanıtlayamadığı bir soruya yaklaşıyor.

Ortak nokta, bu tasarımların hepsinin bir karşılaştırma kurmasıdır, ama her biri farklı bir çifti karşılaştırdığı için farklı bir soruya cevap verir. İç geçerlilik ile dış geçerlilik arasındaki gerilim tam burada beliriyor, bir tasarımı iç geçerlilikte güçlendiren seçim çoğu zaman dış geçerliliğini zayıflatıyor. Hiçbir tasarım öbürlerinden üstün değildir, hangi tasarımın seçileceğini soru belirler.

Kuramsal mercekler

Araştırma dünyasında bu dört tasarım arasındaki tercih, çoğu zaman iç geçerlilik ile dış geçerlilik arasındaki gerilime nasıl bakıldığıyla şekilleniyor ve bu bakışlar iki ayrı duruşa ayrılıyor. İç geçerliliği önceliğe koyan bir duruş, bir etkiyi ilk kez güvenle ortaya koymanın her şeyden önemli olduğunu, dış geçerliliğin ancak sonradan sınanabileceğini savunuyor.

Dış geçerliliği önceliğe koyan bir başka duruş, sahadaki gerçek çeşitliliği yakalamayan bir çalışmanın dar bir sonuç üretmekten öteye geçemeyeceğini savunuyor. Bu duruşu benimseyen bir araştırmacı geniş, gönüllü olmayan ve farklı bölgelerden gençleri kapsayan bir kesitsel taramayı tercih ediyor, çünkü asıl merak edilen geniş bir nüfusta ne olduğudur. İki duruş da haksız değil, aynı gerilimin farklı bir ucunu ciddiye alıyor.

Ölçek

Aynı tasarım kararı, incelenen etkinin zaman aralığına göre bambaşka bir anlam kazanabiliyor. Bir haftalık bir etki ile bir kuşaklık bir etki aynı tasarımla aynı güvenle yakalanamıyor, çünkü kısa bir pencere yalnızca hemen ortaya çıkan farkı gösteriyor, uzun bir pencere ise ancak yıllar sonra beliren bir farkı gösterebiliyor.

Kısa bir zaman aralığında deneysel ya da kesitsel bir tasarım genellikle yeterli oluyor, çünkü hemen ortaya çıkan bir fark hızlı bir karşılaştırmayla da görülebiliyor. Uzun bir zaman aralığında ise yalnızca boylamsal ya da derinlemesine bir vaka tasarımı, etkinin gerçekten kalıcı olup olmadığını gösterebiliyor.

Türkiye bağlamı ve karşılaştırma

Türkiye'de sosyal araştırmaların büyük bir kısmı kesitsel tasarıma dayanıyor, çünkü tek seferlik bir anket daha hızlı ve daha düşük maliyetli bir seçenek sunuyor. Aynı gençleri ya da aynı hane halklarını yıllarca izleyen uzun soluklu panel çalışmaları görece az sayıda kalıyor, çünkü bu tür bir izleme sürekli bir kurumsal destek gerektiriyor. Kamu programlarının etkisi de çoğu zaman program bittikten sonra yapılan tek bir anketle değerlendiriliyor, bu da etkinin kalıcı olup olmadığı sorusunu açıkta bırakıyor.

Yüksek iç göç, Türkiye'deki boylamsal çalışmaları zorlaştırıyor, çünkü bir ilçede başlanan bir izlemede katılımcıların bir kısmı birkaç yıl içinde başka bir şehre taşınıp listeden kayboluyor. Bu kayıp rastgele dağılmıyor, çünkü iş bulamayan ya da ailesiyle göç eden gençler geride kalanlardan sistematik olarak farklı olabiliyor. Kura ile yapılan yerleştirmeler ise araştırmacıya beklenmedik bir fırsat sunuyor, konut, kurs ya da kontenjan kurası kimi zaman bir doğal deney gibi işliyor.

Bu örüntü Türkiye'ye özgü değil ama uzun soluklu panel araştırmalarının yerleşik bir gelenek hâline geldiği bağlamlarla karşılaştırıldığında fark daha belirgin görünüyor. Böyle bağlamlarda aynı hane halkları onlarca yıl boyunca düzenli olarak yeniden görüşülüyor ve bu süreklilik bir kuşaklık etkilerin izlenmesini mümkün kılıyor. Türkiye'deki araştırma pratiğinin kesitsel tasarıma bu kadar yaslanması aslında bir tercih değil, çoğu zaman bir kurumsal kısıt.

Bu bilgiyi nasıl biliyoruz?

İç geçerlilik ya da dış geçerlilik hakkında söylenen her cümle, sahada denenip denenmediğine bakılarak sınanabilir.

Yaygın hatalar

Aklında kalsın

1. Kesitsel, boylamsal, deneysel ve vaka tasarımları aynı soruyu değil, dört farklı çifti karşılaştırdıkları için dört farklı soruyu yanıtlar.
2. İç geçerlilik, bulunan bir farkın gerçekten incelenen etkiden mi başka bir şeyden mi geldiğini gösterir, dış geçerlilik ise bu farkın çalışmanın dışına ne kadar taşınabildiğini gösterir.
3. Kesitsel bir karşılaştırma hızlı ve geniştir ama hangi birimin önce geldiğini göstermez, bu yüzden kendiliğinden gelen bir seçim farkını dışlayamaz.
4. Boylamsal bir izleme değişimi gösterir ama zaman alır ve yolda kaybedilen katılımcılar sonucu sessizce kaydırabilir.
5. Deneysel bir tasarımda rastgele atama, karşılaştırılan grupları ölçülen ve ölçülmeyen bütün özellikler bakımından benzer kılarak iç geçerliliği güçlendirir.
6. Vaka tasarımı bir olgunun ne kadar yaygın olduğunu değil, nasıl ve neden ortaya çıktığını gösterir ve bu yüzden öbür üç tasarımın yanıtlayamadığı bir soruya yaklaşır.
7. İç geçerlilik ile dış geçerlilik çoğu zaman birbirinin pahasına kazanılır, bu yüzden hiçbir tasarım bütün sorular için en iyi tasarım değildir.

Sonraki derse köprü

Hangi tasarım seçilirse seçilsin, toplantı odasındaki karar kâğıt üzerinde ne kadar sağlam görünürse görünsün, sahaya ilk indiği anda başka bir sınavla karşılaşır. Kura listesindeki bir gencin telefon numarası birkaç ay içinde değişebilir, hazırlanan soru formu telefonda okunduğunda beklenenden çok uzun gelebilir, merkez iki yıl boyunca aramayı sürdürecek kararlı bir personeli bulmakta zorlanabilir. Bu tür aksaklıklar tasarımın mantığını değil, o mantığın gerçek koşullarda yürütülüp yürütülemeyeceğini ilgilendirir.