Ön baskı ve hakem değerlendirmesi

Açılış sahnesi

Bir dermatoloji polikliniğinde, yıllardır sedef hastalığıyla (psoriazis) yaşayan bir hasta telefonunu masaya bırakıyor. Ekranda bir haber: "Yeni araştırma: evde kısa ışık seansları sedef plaklarını on iki haftada yarı yarıya azaltıyor." Haberin altında küçük bir not var, "henüz hakem değerlendirmesinden geçmemiş bir ön baskıya dayanıyor", ama başlıkta yok. Hasta evde kullanabileceği cihazı çoktan araştırmış ve fiyatını soruyor.

Dört ay sonra aynı çalışmanın dergi sürümü çıkıyor. Hakemler kontrol grubunun sonuçlarının ayrıntısını istemiş; plaklardaki azalmanın bir kısmının kontrol grubunda da görüldüğü tabloya girmiş, sonuç cümlesi "yarı yarıya" yerine "ılımlı bir iyileşme" diyor ve bir alt grup analizi "keşifsel" diye işaretlenmiş. Hiçbir haber sitesi başlığını güncellemiyor. Bu ders iki sürümün arasında ne olduğunu, hakem değerlendirmesinin neyi yakalayıp neyi yakalayamadığını ve bir ön baskının nasıl okunacağını anlatıyor.

Bu derste ne olacak

Önce hakem değerlendirmesini ve ön baskıyı tanımlayacak, açılıştaki iki cümleyi besleyen ortak yanlış varsayımı göreceğiz. Sonra hakem değerlendirmesinin gerçekten yakaladığı şeylere ve yapısı gereği yakalayamadıklarına geçeceğiz. Ardından ön baskının ne kazandırdığına ve hangi riski taşıdığına bakacak, ikisini birlikte okumanın kuralını kuracağız. Son bölüm, hakemli görünüp hakem değerlendirmesi yapmayan dergilere ayrıldı.

Sıfır noktası

Bu iki tanım karşısında iki karşıt hata yapılır. Birincisi "hakemli dergide yayımlandı, o hâlde doğrudur" der; ikincisi "ön baskı, o hâlde ciddiye alınmaz". İkisi de aynı varsayımdan beslenir: hakem değerlendirmesinin bir doğruluk kapısı olduğu. Bilimin kendini düzeltmesi dersinde (L01-P01-M01-D07) altı basamaklı bir zincir kurmuştun ve hakem değerlendirmesi orada ikinci basamaktı, "zayıf ama ucuz" bir yayın öncesi filtre. Asıl sınav daha sonraki basamaklarda, yayın sonrası eleştiride ve bağımsız tekrarlamada yapılır.

Mekanizma

Hakem değerlendirmesi ne yakalar

Hakemlerin gerçek işlevleri vardır ve küçümsenmemelidir. En sık yakaladıkları şey yöntemsel açıklardır: eksik bir kontrol grubu, veriye uymayan bir analiz, önceden tanımlanmamış bir sonlanım. Açılıştaki çalışmada kontrol grubunun ayrıntısını isteyen de onlardı. İkinci işlevleri aşırı yorumu törpülemektir; birincil araştırma makalesi dersinde sonuç genişletmesi (spin) adını verdiğin eğilimin, yani verinin desteklediğinden daha olumlu sonuç cümlesinin bir kısmı bu aşamada geri çekilir. "Yarı yarıya"nın "ılımlı bir iyileşme"ye dönüşmesi bunun örneğiydi.

Hakemler eksik bildirimi de ister: kaç kişi çalışmadan ayrıldı, hangi analiz planlanmıştı, hangisi sonradan eklendi? Son olarak bulgunun alandaki bilinenlerle nasıl bağlandığını sorarlar. Bilimsel açıklamanın özelliklerini işleyen derste mevcut bilgi gövdesiyle bağlantıyı bir açıklamanın taşıması gereken özelliklerden biri olarak görmüştün; hakem, yazarın bu bağı kurup kurmadığına bakar.

Ne yakalamaz

Bu liste daha uzundur ve çoğu maddesi sistemin yapısından gelir. Hakemler ham veriyi görmez, bu yüzden uydurulmuş ya da değiştirilmiş veriyi yakalayamaz; süreç, yazarın dürüst olduğu varsayımı üzerine kuruludur. Hakem analizi baştan yürütmez, yazarın anlattığı analizi değerlendirir; bir hesap hatası tablolara yansımamışsa görünmez kalır. Bulgunun tekrarlanıp tekrarlanmayacağını da bilemez, çünkü bunu bilmenin tek yolu tekrarlamaktır. Tekrarlanabilirlik dersinde (L01-P01-M01-D05) bu yüzden yeni veriyle aynı sonuca varmayı "asıl sınav" diye adlandırmıştın.

Hakem, yürütülüp hiç yayımlanmamış çalışmaları da göremez; önündeki metin, olumsuz sonuçları çekmecede kalmış bir literatürün içinden gelir ve yayın yanlılığı onun görüş alanının dışındadır. Son olarak hakemler de insandır. Alanın yerleşik görüşüne uyan bir bulguyu daha kolay geçirebilir, rakip bir görüşü daha sert okuyabilirler. Bu sınırların hiçbiri hakem değerlendirmesini değersiz kılmaz; yalnız ondan ne beklenebileceğini belirler.

Ön baskı ne kazandırır

Ön baskı yeni bir fikir değildir, ama sağlık alanında yaygınlaşması yenidir ve üç gerçek kazanç getirir. İlki hızdır. Dergi süreci aylar, bazen bir yılı aşan bir süre alır; hızla gelişen bir konuda bu gecikmenin bedeli vardır ve açılıştaki çalışma dört ay sonra dergide çıktı. İkincisi açıklıktır: metin herkese ücretsiz açıktır ve değerlendirme iki üç kapalı hakemle sınırlı kalmaz, alanda okuyan herkes itiraz edebilir. Bu, zincirin üçüncü basamağı olan yayın sonrası eleştirinin daha erken başlaması demektir.

Üçüncü kazanç yayın yanlılığına karşı kısmi bir panzehirdir. Olumsuz sonuçlu bir çalışma dergide yer bulamasa bile ön baskı olarak görünür kalabilir. Tekrarlanabilirlik dersinde bir bulgunun neden tekrarlanmadığını sayarken ilk sıraya koyduğun şey, olumlu sonuçların yayımlanıp olumsuzların çekmecede kalmasıydı; ön baskı o çekmeceyi kısmen açar.

Ön baskının riski

Risk tek ve nettir: filtreden geçmemiş bir metin, filtreden geçmiş gibi aktarılabilir. Bir ön baskı bir habere, bir sosyal medya paylaşımına ya da bir ürün tanıtımına "yeni araştırma" diye girdiğinde okur onun zincirin hangi basamağında durduğunu bilemez. Açılıştaki haberde bu bilgi vardı, ama başlıkta değil bir dipnotta; hasta başlığı okudu.

İkinci bir incelik sürümlerdir. Ön baskılar sürüm numarası taşır ve hakem süreci metni değiştirebilir; bir bulgu ön baskıda bir biçimde, dergi sürümünde başka biçimde çıkabilir. Haber ise ilk sürümün fotoğrafı olarak kalır.

İkisini birlikte okumak

Pratik kural iki yönlüdür. Ön baskı kendiliğinden zayıf değildir: iyi tasarlanmış, önceden kayıtlı, büyük bir ön baskı, zayıf tasarımlı hakemli bir makaleden daha bilgilendirici olabilir. Onu değerlendirmenin yolu, birincil araştırma makalesi dersinin (L01-P01-M02-D05) beş sorusunu sormaktır: makalenin kendi sonuç cümlesi, birincil sonlanım, sonlanımın klinik mi vekil mi olduğu, sınırlılıklar ve tekrarlanma. Hakemli yayın da kendiliğinden güçlü değildir; derginin ciddiyeti, tasarım, örneklem ve tekrarlanma yine sorulur.

Hakem durumu bu yüzden bir sınıflandırma değil, zincirdeki konumu gösteren ek bir bilgidir. Ön baskı birinci basamakta açıkça duran bir metindir. Hakemli makale ikinci basamağı geçmiştir. Bağımsız bir grup aynı sonuca vardıysa bulgu dördüncü basamağı, sistematik bir derlemeye girdiyse beşinci basamağı geçmiştir. Açılıştaki hastanın elindeki haber, birinci basamaktaki bir metnin ilk sürümünü anlatıyordu.

Yağmacı dergi ayrımı

"Hakemli dergide yayımlandı" ifadesi, dergi gerçekten değerlendirme yapmıyorsa hiçbir şey söylemez. Hakem değerlendirmesinin bir süreç olduğunu söylemiştik; o sürecin yalnız adını taşıyan dergiler de var ve bir kaynağın etiketine bakan okur onları ayırt edemez.

Böyle bir dergiyi ele veren işaretler çoğunlukla birlikte görünür. Gönderimden kabule birkaç gün geçmiştir, oysa gerçek bir değerlendirme haftalar alır. Kapsam aşırı geniştir; aynı dergide dermatoloji, tarım ve mühendislik yan yana durur. Yayın ücreti öne çıkarılmıştır, editör kurulu belirsizdir ya da adları doğrulanamaz. Yazarlara toplu davet e-postaları gönderilir. Bir ürün tanıtımında "hakemli yayınlarla desteklenmiştir" ifadesini gördüğünde ilk soru bu yüzden "hangi dergi?" olmalıdır.

Klinik gerçeklik

Bir kaynağın hakem durumunu değerlendirirken önce metnin bir ön baskı mı, dergi yayını mı olduğunu öğren; ön baskı sunucuları bunu sayfanın üstünde açıkça yazar, haberler çoğu zaman yazmaz. Dergi yayınıysa derginin gerçekten değerlendirme yapıp yapmadığını kabul süresinden, kapsamından ve editör kurulundan kontrol et. Ön baskıysa dergi sürümünün çıkıp çıkmadığına ve iki sürüm arasında sonuç cümlesinin değişip değişmediğine bak; açılıştaki hasta bu tek adımla "yarı yarıya"nın "ılımlı"ya dönüştüğünü görebilirdi.

Son soru öteki üçünden değerlidir: hakem durumu ne olursa olsun, birincil makaleye sorulan beş soru ne diyor? Kaynağın etiketi içeriğinin yerine geçmez. Hastayla konuşurken de ayrım işe yarar: "Bu bir ön baskıydı ve dergi sürümünde etki daha küçük çıktı" cümlesi, "o araştırma geçersiz" cümlesinden hem daha doğru hem daha ikna edicidir.

Kendini sına

1. Açılıştaki iki karşıt hatayı yaz. İkisini besleyen ortak varsayım ne?
2. Hakem değerlendirmesinin yakaladığı dört şeyi say. Açılıştaki çalışmada hangileri işledi?
3. Yakalayamadığı beş şeyi say. Hangisi sistemin dürüstlük varsayımına dayanıyor?
4. "Kapı değil eşik" ayrımını kendi cümlenle yaz.
5. Ön baskının üç kazancını say. Hangisi yayın yanlılığına müdahale ediyor? Tek büyük riski ne?
6. Ön baskı, hakemli makale, tekrarlanmış bulgu ve sentezlenmiş bulguyu zincirin basamaklarıyla eşleştir.
7. Yağmacı dergi uyarı işaretlerinden dördünü say.

Bir sonraki derse köprü

Bu derste hakem değerlendirmesinden henüz geçmemiş ama tam bir araştırma metni olan ön baskıyı okudun. Sıradaki ders zincirde daha da erkene, bir bilimsel toplantıda sunulmak üzere yazılmış birkaç yüz kelimelik bir bildirime iniyor. Orada yöntemin birkaç cümleye sığdığını, tablonun çoğu zaman hiç olmadığını ve metnin tam makaleye hiç dönüşmeyebileceğini göreceksin. Konferans özeti, sağlık haberlerinin şaşırtıcı ölçüde sık dayandığı kaynaklardan biri.