Kiminle ve ne zaman test yapılır?

Açılış sahnesi

Bir posta kartı kulübünün gönüllü ekibi, üyelerin kart değiş tokuşunu eşleştiren yeni bir liste düzenini ilk kez denedi. Denemeye çağrılan altı kişi kulübün en eski üyeleriydi; ikisi kurucuydu, dördü yıllardır her ayki toplantıya geliyordu. Yeni liste iki dakikada anlaşıldı, kimse soru sormadı, herkes kartını doğru adrese gönderdi. Ekip listeyi memnuniyetle onayladı ve bir sonraki ay yeni üyelere de açtı. O ay kulübe ilk kez gelen sekiz kişiden beşi listeyi yanlış okudu; ikisi kendi adını değil karşı tarafın adını aradı, biri hangi sütunun gönderen, hangi sütunun alıcı olduğunu hiç ayırt edemedi. Eski üyeler listeyi kolayca okumuştu, çünkü eski düzeni de biliyorlardı ve yenisini ona göre karşılaştırıyorlardı; yeni gelenlerin karşılaştıracağı bir eski düzen yoktu. Toplantıda bir üye sorunun listenin kendisinde değil, listenin kime gösterildiğinde olduğunu söyledi. Deneme başarısızdı ama başarısızlığın nedeni listenin tasarımı değildi; denemeye çağrılan altı kişi sorunun gerçek muhatabı değildi.

Bu derste ne olacak

Bir denemenin en sessiz kararı, masaya kimin oturacağıdır; çoğu ekip bunu düşünmeden, elinin altındakilerle verir. Çağrılan kişinin sorunun eksenine ne kadar yakın durduğu, bu yakınlığı neyin bozduğu ve fikir olgunlaştıkça doğru katılımcının neden değiştiği sırayla açılıyor.

Tek bir katılımcının sık sık çağrılmasının da kendi bedeli var; aynı kişi ikinci ya da üçüncü kez masaya oturduğunda artık ilk kez karşılaşan biri gibi davranmıyor.

Aşağıdaki örnekler kurgudur.

Sıfır noktası — katılımcı eşleşmesi nedir

Bir deneme günü kararlaştırıldığında ilk soru çoğunlukla ne zaman ve nerede olur; kimin çağrılacağı sona bırakılır ya da hiç sorulmaz. Oysa masaya oturan kişi, sorunun eksenine göre seçilmezse deneme kendi başına hiçbir şey söylemez — katılımcı doğru davransa bile yanlış soruya cevap vermiş olur.

Mekanizma — sıcak katılımcı ve uç katılımcı

Eşleşme bulunduktan sonra ikinci bir ayrım gerekir, çünkü sorunun eksenindeki katılımcılar da birbirinin aynısı değildir. Bazıları fikre yakın durur ve bunu istemeden söylediklerine karıştırır, bazıları sorunun en zorlu ucunda yaşar ve bunu abartarak gösterir.

Usta katmanı — olgunluk eşlemesi ve eskiyen katılımcı

Katılımcı seçimi tek bir kararla bitmez, çünkü fikir sabit durmaz. Bir taslak kabayken sınayan kişiyle, aynı fikir neredeyse bitmişken sınayan kişi aynı olamaz.

Yaygın hatalar ve yanlış bilinenler

Aklında kalsın

Katılımcı eşleşmesi, denemeye çağrılan kişinin sorunun eksenine ne kadar yakın olduğunu sorar; kolay ulaşılan biri çoğu zaman bu eksenden uzaktır ve deneme kendi başına hiçbir şey söylemez. Sıcak katılımcı kırıcı olmamak için pürüzü yumuşatır, uç katılımcı ise sorunu büyüterek gösterir ama ortayı temsil etmez; ikisi de kendi sorusuna doğru cevap verir, birbirinin yerine geçemez. Olgunluk eşlemesi bu iki uçla yabancı katılımcıyı ayrı basamaklara yerleştirir: kaba bir taslak sıcak ya da uç bir gözle, olgunlaşan bir sürüm eşleşmesi güçlü yabancılarla, bitmiş bir sürüm gerçek kullanımdaki kişilerle sınanır; ters sıralama, taslağı erken yabancıya gösterip asıl soruyu hiç aldırmadan ya da bitmiş işi yalnız sıcak gözlerle onaylayıp her şeyi iyi gösterir.

Eskiyen katılımcı bu düzenin gizli bir bedelidir: aynı kişi ikinci ya da üçüncü kez masaya oturduğunda artık ilk kez karşılaşan biri gibi davranmaz, nereye bakacağını bilir ve sürümler arasında karşılaştırma yapar. Bu bakış kaybolmaz, yalnız yön değiştirir; eskiyen katılımcı yeni bir soruya, sürümler arası farkı görmeye ayrılabilir. Doğru soru hangi katılımcının en akıllı ya da en sadık olduğu değil, hangi katılımcının şu anda sorulan soruya hâlâ taze bir gözle cevap verebileceğidir.

Sonraki derse köprü

Bu dersin katılımcı seçimleri bir şeyi varsayıyordu: doğru kişi masaya oturduğunda deneme kendiliğinden bir şey söyler. Ama masadaki kişi doğru olsa bile ona ne yapılacağı ayrı bir karardır. Bir katılımcı yalnız izlenebilir: eli nereye gidiyor, nerede duraksıyor, hangi adımı atlıyor. Aynı katılımcıya sorular da sorulabilir: neden burada durdun, bunu nasıl anladın, hangi kısmı beklemiyordun. İkisi aynı şeyi göstermez.

İzlemek yapılanı gösterir; davranış saklanmaz, katılımcı ne yaptığını göstermek için çaba harcamaz, çünkü gözlemci ondan bir şey istemiyordur. Sormak ise nedeni gösterir; katılımcı bir şeyi neden yaptığını kendisi de tam bilmeyebilir ama soru onu düşünmeye zorlar. Fazla soru katılımcıyı kendi davranışını izleyen, tedirgin bir gözlemciye çevirir; davranış artık doğal akmaz, cevap vermek için düzenlenir. Hiç sormamak ise tam tersi bir açığı bırakır: duraksama görülür ama nedeni hiçbir zaman öğrenilmez, gözlemci kendi tahminini nedenin yerine koyar. Bu küçük görünen ayrım, aynı deneme gününden çıkan bulguların hangi soruya cevap verdiğini baştan belirler.

Doğru katılımcı bulundu, doğru olgunlukta çağrıldı; peki denemenin hangi anında yalnız izlemek, hangi anında sormak gerekir?