Yapıcı bilimsel eleştiri yazma

Açılış

Bir yazılım şirketinin üçüncü katında, perşembe öğleden sonra. İş yeri hemşiresi Gizem Hanım'ın masasında insan kaynaklarından gelen bir e-posta duruyor: bir firma, çalışanlara saat başı esneme hareketi hatırlatan bir telefon uygulaması satıyor ve tanıtım dosyasına tek sayfalık bir çalışma özeti eklemiş. İnsan kaynakları iki yüz kişilik lisans almadan önce Gizem Hanım'ın görüşünü istiyor. Firma da özetin altına bir not düşmüş: "Çalışmayı yürüten araştırma sorumlumuz her türlü geri bildirime açıktır."

Gizem Hanım'ın önünde iki kolay yol var. "Bilimsel değil" yazıp kapatabilir ya da "çalışma var, alalım" diyebilir. İkisi de bir konum bildirir, ama ikisi de ne insan kaynaklarına bir karar aracı verir ne de araştırma sorumlusuna düzeltebileceği bir şey. Bu derste onun yazacağı metni birlikte kuruyoruz ve ölçütü tek cümle: eleştiri, eleştirilen kişinin okuyup kullanabileceği bir şey olmalı.

Bu bir nezaket kuralı değil. Kullanılamayan bir eleştiri tartışmayı ilerletmiyor, yalnız bir konum bildiriyor. Bu bir uygulama görevi ve modülün yedi dersini tek bir metne döküyor; süre yaklaşık kırk beş dakika.

Dört bölüm

Bir eleştiri dört parçadan oluşuyor ve sırası önemli. İlk bölüm ne iddia edildiğidir: çalışmanın ya da metnin iddiasını kendi cümlelerinle yaz, ne, kimde ve hangi sonuç için. Ardından çelik adam dersindeki sahip onayı sınamasını uygula: yazar bunu okuyup "evet, tam olarak bunu söylüyorum" der miydi? Bu bölüm atlandığında eleştirinin geri kalanı hedefsiz kalıyor ve çoğu tartışma daha burada kaybediliyor.

İkinci bölüm ne kurulduğudur, yani çalışmanın gerçekten gösterdiği şey. Bu genellikle iddiadan dardır ve iki soruyla bulunur: hangi nüfusta, hangi tasarımla? Fark da bu iki bölüm arasında görünür: iddia ile kurulan arasındaki mesafe, eleştirinin konusudur.

Üçüncü bölüm boşluğun nerede olduğudur. Mesafeyi üreten şeyi adlandır; genel bir kusur değil, belirli bir mekanizma. Karşılaştırmanın olmaması, sonlanımın dolaylı olması, körlemenin yokluğu, yüksek izlem kaybı, önceden tanımlanmamış bir alt grup, öz bildirime dayanan ölçüm, yetersiz güç ya da elenmemiş bir rakip açıklama bunlardandır. Rakip hipotezler dersinin sorusu her boşluk için geçerli: bu bulgu, başka bir açıklama doğru olsaydı da görülür müydü?

Dördüncü bölüm eleştiriyi yapıcı yapan tek parça ve çoğu zaman yazılmıyor: bu boşluğu ne kapatırdı? Hangi tasarım, hangi ölçüm, hangi ek analiz, hangi veri paylaşımı? Cevap "bilinmiyor" olabilir ve o da yazılır. Ama bu bölüm boş bırakılırsa eleştiri bir kapıyı açmıyor, kapatıyor.

Beş kural

Dört bölüm eleştirinin iskeleti; kurallar ise o iskeleti modülün derslerine bağlıyor. Birinci kural gerekçeyi hedeflemek, kişiyi değil. Kişi ile iddiayı ayırmak dersindeki ayrım burada yazıya dökülüyor: "bu çalışmanın karşılaştırma grubu yok" bir eleştiridir, "bu firma çıkar peşinde" ise bir konumlandırma. İkinci kural ölçütü önce yazmak. Kanıt ağırlığı dersinde gördüğün gibi, sonucu gördükten sonra seçilen ölçüt sonuca göre seçilmiş olur; eleştiriye başlamadan önce kendine sor: beni ikna edecek bir çalışma nasıl olurdu?

Üçüncü kural anlaşmazlığın türünü söylemek. Görüş ayrılığının türleri dersindeki sınıflandırmayla, ayrılığın olgu, tanım, yöntem ya da değer düzeyinde mi olduğunu belirt; değer düzeyindeki bir itirazı yöntem eleştirisi gibi yazmak iki tarafı da yanlış yere çeker. Dördüncü kural kendi belirsizliğini bildirmek. Fikir değiştirmenin erdemi dersindeki orantılı güncelleme burada dile yansıyor: "bu bir sınırlılık olabilir, emin değilim" ile "bu çalışma geçersiz" arasında büyük fark var ve birincisi geri dönülebilir bir cümle.

Beşinci kural doğruluk için var: ne işe yaradığını da yaz. Bu bir yumuşatma değil, bir tartım meselesi. Yalnız kusurları sayan bir eleştiri, çalışmanın kanıt gövdesindeki ağırlığını yanlış gösterir; kanıt ağırlığı dersindeki tartım iki yönde de çalışır.

İkinci kartın bir incelik taşıdığına dikkat et. Bu dersin kendisi de bir yapılandırılmış rehber, dört bölüm ve beş kural; kart ise bu türden rehberlere yalnız C rozeti veriyor. Şablon, Gizem Hanım'ın bir boyutu atlamasını zorlaştırır, ama doğru karara varacağını garanti etmez.

Uygulama — kurgu bir çalışma

Gizem Hanım'ın önündeki özet aşağıda. Özet kurgudur; gerçek bir çalışmayı temsil etmez.

Başlık: Saat başı esneme hatırlatan uygulama, ofis çalışanlarında boyun ve omuz ağrısını azaltıyor

Yöntem: Tek merkez. Boyun ya da omuz ağrısı bildiren 64 ofis çalışanı. Katılımcılar sekiz hafta boyunca uygulamanın hatırlattığı esneme hareketlerini yaptı. Ağrı, başlangıçta ve sekizinci haftada 0–10 arası öz bildirimli bir ölçekle değerlendirildi. Karşılaştırma grubu yok.

Bulgu: Ortalama ağrı puanı sekizinci haftada başlangıca göre belirgin biçimde düşük bulundu. Katılımcıların çoğu kendini daha iyi hissettiğini bildirdi.

Sonuç: Uygulama, ofis çalışanlarında boyun ve omuz ağrısının azaltılmasında etkili bir seçenek olarak değerlendirilebilir.

Kendi eleştirini yaz; sonra aşağıdakiyle karşılaştır. Başlamadan önce ikinci kuralı uygula ve seni ikna edecek bir çalışmanın özelliklerini kâğıdın en üstüne yaz.

Örnek eleştiri

Ne iddia ediliyor. Uygulama, boyun ya da omuz ağrısı olan ofis çalışanlarında sekiz haftada ağrıyı azaltıyor ve iş yerinde kullanılabilecek etkili bir seçenek. Araştırma sorumlusu bu cümleyi okusa büyük olasılıkla "evet, söylediğim bu" der; iddiayı zayıflatmadan, olduğu gibi kurmak eleştirinin geri kalanını ona karşı adil kılar.

Ne kuruluyor. Tek merkezde, 64 kişide, sekiz haftada öz bildirimli ağrı puanının düştüğü gösterildi. Kurulan şey bir değişim; bir etki değil. Aradaki mesafe, "düştü" ile "uygulama düşürdü" arasındaki mesafe.

Boşluk nerede. Dört yerde. İlki karşılaştırmanın yokluğu: rakip açıklamalar hiç elenmedi. Boyun ağrısının doğal seyri dalgalıdır; insanlar çalışmaya büyük olasılıkla ağrılarının kötü olduğu bir dönemde katılır ve sonraki ölçüm ortalamaya döner; sekiz haftada iş yükü, oturma düzeni ya da mevsim değişmiş olabilir; bir şey yapıyor olmanın beklentisi de puanı etkiler. Rakip hipotezler dersinin sorusuna cevap açık: bu düşüş, uygulama etkisiz olsaydı da görülür müydü? Evet.

İkinci boşluk, sonlanımın öz bildirimli olması ve katılımcının hangi kolda olduğunu bilmesi. Tek kol olduğu için körleme mümkün değil ve beklenti doğrudan sonlanıma karışıyor. Üçüncüsü sonuç cümlesinin kurulandan geniş olması: "etkili bir seçenek" nedensel ve pratik bir ifade, tasarım ise nedensel çıkarıma izin vermiyor. Dördüncüsü katılımcı akışının bildirilmemesi. Kaç kişi başladı, kaçı bıraktı? Bırakanlar ağrısı geçmeyenlerse, kalanların ortalaması yanıltıcıdır.

Ne kapatır. Bir karşılaştırma kolu ve önceden kayıtlı bir protokol; örneğin aynı iş yerinde uygulamayı alan ve bekleme listesinde kalan iki grup. Ağrının yanında kişinin beklentisinden daha az etkilenen bir sonlanım, örneğin ağrı nedeniyle kaybedilen iş günü kaydı. Katılımcı akışının bildirilmesi ve bırakanların da analize dâhil edilmesi. Bunlar mümkün değilse, sonuç cümlesinin "bu tasarım nedensel çıkarıma izin vermiyor" ifadesiyle sınırlanması.

Ne işe yarıyor. Nüfus açıkça tanımlanmış, süre ve ölçüm zamanı bildirilmiş ve sonlanım baştan tek. Bu, karşılaştırmalı bir çalışmanın tasarımı için kullanılabilir bir ön veri; örneklem büyüklüğünü hesaplamak için gereken yayılım bilgisi de buradan çıkabilir.

Anlaşmazlığın türü ve kendi belirsizliğim. Bu bir yöntem anlaşmazlığı. Uygulamanın işe yarayıp yaramadığı hakkında bir görüş bildirmiyorum; bu tasarımın o soruyu cevaplayamadığını söylüyorum. Uygulama etkili de olabilir, bu çalışma bunu göstermiyor. Lisans kararı ise ayrıca bir değer sorusu: maliyet, çalışanların tercihi ve zarar olasılığının düşüklüğü, kanıtın belirsizliğiyle birlikte tartılabilir.

Son paragraf eleştirinin en önemli cümlesini taşıyor: "kanıt yok" ile "etkisiz" aynı şey değil. Etki büyüklüğü karşılaştırması dersinde (L01-P04-M02-D10) bir seçeneğin değerlendirilemez olmasının etkisiz olduğu anlamına gelmediğini görmüştün; burada aynı ayrım bir eleştirinin sonuç cümlesini taşıyor. Gizem Hanım'ın metni insan kaynaklarına "alın" ya da "almayın" demiyor, kararın hangi bilgiye dayandığını ve hangisinin eksik olduğunu söylüyor. Araştırma sorumlusuna da bir sonraki çalışmada neyi değiştirebileceğini gösteriyor.

İkinci görev — kendi eleştirini yaz

Bir metin seç: bir çalışma özeti, bir sağlık haberi ya da bir sosyal medya gönderisi. Metni okumadan önce ölçütünü yaz; beş kuralın en zoru bu ikincisi, çünkü metni okuduktan sonra ölçüt kendiliğinden metne göre şekil alıyor. Ardından dört bölümü sırayla yaz: iddia, kurulan, boşluk ve ne kapatır.

Sonra bir kontrol yap: yazdığın metni eleştirdiğin kişi okusaydı ne yapabilirdi? Cevap "hiçbir şey" ise dördüncü bölüm eksik. Son olarak çelik adamı kendi konumuna kur. Eleştirine karşı yazılabilecek en güçlü cevap ne olurdu ve senin metnin ona karşı ayakta kalıyor mu?

Modülün kapanışı

Sekiz derste tek bir soruyu işledik: bir iddiaya nasıl itiraz edilir? Önceki modül sosyal medyada gerekçenin yerine konan şeyleri saymıştı; bu modül gerekçenin kendisiyle nasıl çalışılacağını kurdu. İlk ders itirazı kişiden alıp gerekçeye yöneltti, ikincisi karşı görüşün en güçlü hâlini kurmayı öğretti. Üçüncüsü kanıtın uyumlu olmasıyla ayırt edici olmasını ayırdı, dördüncüsü çalışmaları saymak yerine tartmayı gösterdi.

Beşinci ders anlaşmazlığın türünü adlandırdı, altıncısı uzlaşma dışındaki bir konumu "şu doğruysa şunu görmeliyiz" diyen sınanabilir öngörüyle ve öngörü kaydıyla değerlendirdi. Yedincisi kendi konumunu kanıtın ağırlığıyla orantılı güncellemeyi öğretti. Yedi araç tek bir amaca hizmet ediyor: tartışmayı ilerletmek.

Modülün ortak bulgusu yedi dersin her birinde yeniden çıktı: araçların hepsi önce kendine uygulanıyor. Çelik adamı kendi konumuna kur, rakip hipotezi kendi açıklamana uygula, ölçütünü sonucu görmeden yaz, yanlışlama koşulunu kendin için belirle. Bir okuma ölçütü, ancak onu kullanana da uygulanıyorsa ölçüttür; bu dersin ikinci kartının kendi yöntemine C rozeti vermesi de bu yüzden.

Bu dersle birlikte tartışma kültürünü işleyen program da kapanıyor. İlk modül sağlık haberlerini okumayı, ikincisi sosyal medyadaki sağlık iddialarını, üçüncüsü tartışmanın araçlarını kurdu: yanlış bilginin nasıl yayıldığından ona nasıl itiraz edileceğine giden bir yol.

Bir sonraki derse köprü

Gizem Hanım'ın eleştirisinin ilk bölümü iddiayı sahibinin tanıyacağı biçimde yazmaktı ve bu, iddianın dilini doğru okumayı gerektiriyor. Sıradaki modül tam o dile iniyor: tıbbi terimlere. İlk derste bir taburcu özetindeki yabancı sözcükleri ezberlemek yerine parçalarına ayırmayı göreceksin. Aynı yöntemin seni nerede yanılttığını da orada öğreneceksin, çünkü bir terimi doğru çözmek ile onun klinik anlamını doğru okumak her zaman aynı şey değil.