Pilot çalışma ve uygulanabilirlik

Açılış sahnesi

Bir üniversitenin araştırma ekibi, bir büyükşehrin kenar mahallelerinde yaşlıların yalnızlığını inceleyecek büyük bir görüşme çalışmasına hazırlanıyor. Plan sağlam görünüyor: muhtarlıklardan alınacak listeler, eğitimli görüşmeciler, kırk dakikalık bir görüşme formu. Ekip lideri tam çalışmadan önce iki mahallede bir hafta sürecek küçük bir deneme istiyor, bütçeyi yöneten meslektaşı itiraz ediyor: "Zaman kaybı, form belli, liste belli." Deneme yapılıyor ve muhtarlık listelerindeki kişilerin bir kısmının taşınmış ya da vefat etmiş olduğu, kalanların çoğunun da kapıyı tanımadığı kişiye açmadığı ama bir komşunun eşliğinde açtığı görülüyor. Form kırk dakika değil, çay ikramı ve sohbetle neredeyse iki saat sürüyor ve "yalnız hissediyor musunuz?" sorusu birçok kişi tarafından ayıp bir soru gibi karşılanıp geçiştiriliyor. Görüşmeciler günde planlanan sayının yarısına bile ulaşamıyor ve bütçeyi yöneten meslektaş bu kez hiçbir şey söylemiyor.

Bu derste ne olacak

Az önce okuduğun sahne kurgudur ve gerçek bir sahadan aktarılmadı; buna rağmen içindeki gerilim, gerçek pilotlarda hep aynı yerlerde çıkıyor. Önceki derste dört tasarım türünü ve her birinin iç ile dış geçerliliğini yan yana koymuştuk; kapanışta kâğıt üstünde sağlam duran bir tasarımın sahaya indiğinde çatlayabileceğine değinmiştik. Bu ders o çatlağın nerede arandığını ve nasıl okunduğunu konu alıyor.

Kavramsallaştırmadan ölçüm düzeyine, tasarım türünden geçerliliğe kadar bu kursta kurduğumuz her karar, tam ölçekte uygulanmadan önce dar bir alanda denenmeli; bu denemenin adı pilot çalışma. Bu derste pilotun ne işe yaradığını, neyi sınamadığını, hangi kararı önceden gerektirdiğini, hangi üç sonuca bağlandığını ve nerede yanlış okunduğunu sırayla göreceğiz.

Sıfır noktası — pilot bulgu üretmez, tasarımı sınar

Pilotu tanımlamadan önce onun ne olmadığını söylemek daha kolay: sahnedeki bir haftalık deneme bittiğinde ekibin elinde "yaşlıların çoğu yalnız" diyen bir bulgu değil, formun o mahallede nasıl davrandığına dair bir kayıt duruyordu.

Sıfır noktası bu ikisini ayırmakla kurulur: pilot ne öğretir, uygulanabilirlik neyi sınar. Aradaki fark netleşince sıradaki soru kendiliğinden geliyor: pilot bittiğinde hangi karar veriliyor?

Mekanizma — ölçüt, revizyon ve durma kararı

Pilot bittiğinde ekip elinde bir yorum değil bir karar ihtiyacı bulur ve o kararı önceden yazılı bir eşik olmadan vermek, her sonucu idare eder gibi okumaya götürür. Sahnedeki bütçeyi yöneten meslektaşın deneme bitiminde hiçbir şey söylememesi bu boşluğun izidir: elinde deneme başlamadan yazılmış bir eşik yoktu ve şimdi neyin yeterli sayılacağına karar veremiyordu.

Pilotun sonucu üç karardan biridir: tasarım olduğu gibi devam edebilir, değiştirilerek devam edebilir ya da çalışma tümüyle durdurulabilir. Durma kararı bir başarısızlık değil, ilerleme ölçütü karşılanmayan bir tasarımda kaynağın boşa tüketilmesini önleyen bir karardır. Sahnedeki ekip bu üçüncü kapının eşiğine yaklaşmıştı, çünkü görüşmeciler planlanan sayının çok gerisinde kalıyor ve form neredeyse iki katı zaman alıyordu; yine de durmadı, çünkü bu kararı bağlayacak eşik en baştan yazılmamıştı.

Pilotun görünüşü yönteme göre değişir, mantığı değişmez: görüşmede deneme görüşmeleri soruların akışını, gözlemde bir ön saha kayıt kategorilerini, deneyde küçük bir grup prosedürü, ankette küçük bir deneme uygulaması ise anlaşılırlığı sınar. Dördünde de sorulan soru aynıdır: tasarım, kâğıtta göründüğü gibi mi çalışıyor?

Kuramsal mercekler

Bir pilotun ne kadar kapsamlı olması gerektiği sorusunda yöntem eğitiminde üç ayrı eğilim bir arada duruyor.

Bir yaklaşım pilotu dar tutmayı önerir: yalnız aracı ve lojistiği sınamak, birkaç kişiyle kısa bir deneme yapmak yeterlidir. Gücü hızındadır, çünkü küçük bir deneme az zaman alır ve tam çalışmanın takvimini zorlamaz; zorlandığı yer, ekip yükünü ya da sahanın gerçek temposunu göstermeye yetmemesidir. Sahnedeki form süresi gibi sorunlar ancak biraz daha uzun bir denemede ortaya çıkar.

İkinci yaklaşım pilotu neredeyse tam çalışma büyüklüğünde kurmayı önerir: aynı ekip, aynı süre, aynı sayıda saha günü. Verdiği şey ekip yükünün gerçekçi görülmesi; açıkta bıraktığı nokta, kendisinin de kaynak tüketmesidir.

Üçüncü yaklaşım pilotu tek seferlik bir eşik değil, tasarıma gömülü bir adım sayar: küçük bir deneme, bir revizyon, ardından ikinci bir küçük deneme. Pratik değeri, ilk denemede kaçırılan bir sorunun ikincisinde yakalanabilmesidir; zayıf tarafı, art arda denemelerin de zaman istemesi ve bir noktada durmanın gerekmesidir.

Hangi yaklaşımın seçileceği, sahanın ne kadar tanıdık olduğuna ve elde kalan zamana bağlı; ders boyunca kullandığımız sahnedeki gibi hiç çalışılmamış bir grupla girişildiğinde, dar bir deneme çoğu zaman yetmiyor.

Ölçek

Pilot zaten tam çalışmanın küçültülmüş bir kopyasıdır ve bu, ölçeği burada farklı bir yerden ele almayı gerektiriyor. Ölçek bu derste birey, kurum ya da toplum arasında gezinmiyor; aynı çalışmanın küçük ve büyük hâli arasında duruyor.

Küçülme bazı şeyleri büyütür, bazılarını görünmez kılar. Bir sorunun ayıp sayılıp sayılmadığı iki mahallede bile ortaya çıkar; bu, küçük ölçekte görünen bir sorundur. Buna karşılık bazı sorunlar ancak büyük sayılarda, çok sayıda görüşmeci ve saha gününde birikerek ortaya çıkar: bir görüşmecinin farklı soru sorması, kayıtların birleştirilirken ortaya çıkan tutarsızlıklar, ekipte biriken yorgunluk. Bunların hiçbiri iki mahallelik bir haftada görünmez ve pilot bu sınırı taşıyarak yürütülür.

Pilotun küçük ölçeği bir kusur değil bir seçimdir; neyi göreceğini baştan daraltır ve dışında kalanı örtük biçimde tam çalışmaya bırakır.

Türkiye bağlamı ve karşılaştırma

Türkiye'de yürütülen araştırmalarda pilotun kendisi bir lüks gibi görülebiliyor, çünkü proje takvimleri ve fon süreleri çoğu zaman sahaya ayrılan zamanı dar tutuyor ve pilot takvimde kendine hiç yer bulamıyor.

Lisansüstü çalışmalarda pilot sık sık birkaç arkadaşa formu doldurtmaya indirgeniyor; katılanlar asıl sahadaki katılımcılara benzemediği için form anlaşılırlığı dışında hiçbir şey sınanmamış oluyor. Ulaşılabilirlik, katılımın sürmesi ve ekip yükü gibi kalemler hiç görülmeden tam çalışmaya geçiliyor.

Muhtarlık, okul ya da hastane gibi kapı bekçisi kurumlardan izin almanın ne kadar süreceği çoğu zaman ancak sahada anlaşılıyor. Görüşme kültüründeki misafirperverlik normları da aracı zorluyor: sahnedeki çay ve sohbetin form süresini neredeyse ikiye katlaması, Türkiye'deki saha çalışmalarında sık karşılaşılan bir örüntü.

Bu tablo, pilotun ayrı bir yayın türü olarak raporlandığı ve fon başvurularında ayrıca istendiği bağlamlarla karşılaştırıldığında daha net görülüyor: orada pilot, tam çalışmadan bağımsız bir ürün sayılıyor ve neyin değiştiğini ayrı bir metinde göstermesi bekleniyor. Bu beklenti kaydı sisteme yazıyor; onsuz deneme, ekibin hafızasında kalan gayri resmî bir aşama olarak kalıyor.

Bu bilgiyi nasıl biliyoruz?

Pilotun katkısı, çalışma bittikten sonra geriye dönük olarak da denetlenebilir ve bunun için pilotun kendi kaydına bakmak gerekir.

Yaygın hatalar

Aklında kalsın

1. Pilot bulgu üretmek için değil, tasarımın sahada yürüyüp yürümediğini görmek için yapılır.
2. Uygulanabilirlik, daha önce gördüğümüz yapılabilirlik sınamasının sahada sınanmış hâlidir; ikisi birbirinin yerine geçmez.
3. İlerleme ölçütleri pilottan önce yazılır; sonradan yazılan bir ölçüt her sonucu yeterli gösterir.
4. Pilotun sonucu üç karardan biridir: olduğu gibi devam, tasarım revizyonuyla devam ya da durma.
5. Durma kararı bir başarısızlık değil, kaynağın boşa harcanmasını önleyen bir karardır.
6. Pilot yanılgısı, küçük örneklemden etki okumak ya da pilot verisini tam veriye karıştırmaktır.
7. Pilotun mantığı her yöntemde aynıdır; görünüşü görüşmede, gözlemde, deneyde ve ankette değişir.

Sonraki derse köprü

Bu kurs bir merak alanını sınırlı bir soruya, amaca ve kapsama indirgemekle başladı. Ardından o soruyu kavramsallaştırdık ve kavramları operasyonelleştirdik; değişkenleri, kategorileri, boyutları ve göstergeleri kurduk. Göstergeleri hangi ölçüm düzeyinde topladığımızı belirledik, bunları indeks ile ölçeğe dönüştürdük ve bu ölçümün geçerliliğini, güvenilirliğini sınamayı öğrendik. Sonra ölçümü hangi tasarımın taşıyacağına karar verdik — deneysel, kesitsel, boylamsal ya da vaka — ve şimdi o tasarımı sahaya çıkmadan önce bir pilotla sınamayı öğrendik.

Sahnedeki pilotta bir şey daha görülüyordu ve bu derste ona hiç değinmedik. Kapıyı açan yaşlı, "yalnız mısınız" sorusundan rahatsız olan kişi, iki saat ayıran komşu: hepsi tasarımı taşıyan, ama tasarımın hiçbir kararında oyu olmayan insanlardı. Bu kursta her kararı hep araştırmacının ihtiyacına göre tarttık: doğru ölçüyor mu, yürüyor mu, güvenilir mi. Kapıyı açan ya da açmayan kişinin bu süreçte ne yaşadığı, neye rıza gösterdiği ve nelerin ona zarar verebileceği tamamen başka bir bakış istiyor. Sıradaki kurs, araştırmanın karşı tarafına geçiyor: zarar vermeme, yarar, adalet ve özerklik, o kursun konusu.