Kaynak güncelleme politikası

Açılış sahnesi

Sırt ve omuz kursunun ilk dönemi bitti. Öğretmen bir yıl sonra ikinci dönemi açmaya hazırlanırken çalışma kitapçığını yeniden açıyor ve kaynakçadaki her maddeye tek tek bakıyor. Bulduğu şeyler onu şaşırtıyor.

Kitapçıkta "umut verici" diye etiketlediği bir bulgu, geçen yıl yayımlanan büyük bir çalışmayla zayıflamış. Omuz hareketleri için dayandığı bir makalenin, bir dergi tarafından veri hataları yüzünden geri çekildiğini öğreniyor; kitapçıkta hâlâ bir kaynak olarak duruyor. Fiziksel etkinlik önerileri için kullandığı ikincil bir sayfa, kılavuzun eski bir sürümünü aktarıyormuş. Ve kursun ölçüm bölümünde önerdiği bir parmak ucu cihazının koyu tende daha az doğru ölçtüğünü gösteren yeni bir değerlendirme yayımlanmış.

Öğretmen kitapçığı yazarken her kaynağı özenle seçtiğini biliyor. Ama bir yıl içinde kaynaklarının bir kısmının eskidiğini, birinin tamamen geçersiz hâle geldiğini görüyor. Kendine şunu soruyor: bunu şimdi fark ettim, çünkü bakmaya karar verdim; bakmasaydım, ikinci dönemin öğrencileri eski bir bilgiyle mi ders alacaktı?

Bu derste ne olacak

Bu ders bir kursun dayandığı bilginin zamanla nasıl eskidiğini ve bir öğretmenin bunu düzenli olarak nasıl fark edip düzelteceğini ele alıyor. Önce bilginin eskimesini ve tıpta yerleşik bir uygulamanın daha iyi bir çalışmayla tersine döndüğü durumları göreceğiz. Sonra bir makalenin yayımlandıktan sonra geri çekilmesini ve bunun bir kurs malzemesi için ne anlama geldiğini ele alacağız. Ardından bitirme projesindeki kurs için bir kaynak güncelleme politikası kuracağız: bir kaynak listesi, bir gözden geçirme takvimi, güncellemeyi tetikleyen durumlar ve yapılan değişikliklerin kaydı. En sonda bir güncellemenin kimin kanıtını eklediğine bakacağız; ten tonu burada, yeni kanıtın özellikle az temsil edilen gruplar için bir etiketi nasıl değiştirebildiğini soracak.

Sıfır noktası

Kaynaklarla ilgili üç şeyi daha önce gördük. Birincil ve ikincil kaynak dersinde, Y4.02'de, bir kaynağın kaynak ve kanıt politikasındaki önceliğini konuştuk. Kanıt özeti dersinde, Y5.97'de, bir özetin belirli bir tarihteki kanıtın fotoğrafı olduğunu; kılavuz dersinde, Y5.98'de ise ikincil bir kaynağın bir kılavuzun eski sürümünü aktarabildiğini, sürüm uyumsuzluğunu gördük. Kanıt haritasını kurarken, Y5.87'de, bir etiketin bir iddianın kesin doğruluğunu değil kanıtın bugünkü durumunu anlattığını da söylemiştik.

Bu ders o gözlemleri bir kursun kalıcı bir alışkanlığına çeviriyor. Bir kurs bir kez yazılıp bırakılamaz; dayandığı kanıt değişir. Bir kaynak güncelleme politikası, bu değişimin rastlantıyla değil, bir düzenle fark edilmesini sağlar.

Mekanizma

Bilgi eskir

Bilginin yarı ömrü maddesi, bu kavramı belirli bir alandaki bilginin ya da olguların yarısının yerini başkasına bırakması ya da yanlış olduğunun gösterilmesi için geçmesi gereken süre olarak tanımlıyor ve kavramın Fritz Machlup'a, bin dokuz yüz altmış ikiye dayandırıldığını yazıyor. Madde, bu bilginin fizikteki yarı ömür gibi düzenli bir biçimde azaldığının hiçbir güvencesi olmadığını da vurguluyor; ama bir örnek aktarıyor: iki bin on altıda yapılan bir uzman anketine göre psikolojideki bilginin yarı ömrü, uzmanlık alanına göre yaklaşık üç ile on dokuz yıl arasında değişiyordu.

Tıpta bu eskimenin özel bir biçimi var. Tıbbi geri dönüş maddesi, bunu daha yeni ve yöntem bakımından daha üstün bir klinik çalışmanın, var olan klinik uygulamayla ve onun dayandığı eski çalışmalarla çelişen sonuçlar vermesi olarak tanımlıyor; geri dönüşlerin, bir tedavinin güvenliği ve etkinliği için güçlü bir kanıt olmadan, örneğin "mantıklı göründüğü" için ya da gözlemsel çalışmalara dayanarak yaygınlaşmasından kaynaklandığını yazıyor. Madde, bir yıllık New England Journal of Medicine özgün yayınlarını inceleyen bir çalışmanın bunların yüzde on üçünün geri dönüş olduğunu, bir başka çalışmanın ise standart bakım uygulamalarını inceleyen üç yüz altmış üç makalenin yüz kırk altısının, yaklaşık yüzde kırkının, uygulamanın tersine dönmesine yol açtığını bulduğunu aktarıyor.

Geri çekilen çalışmalar

Bir kaynak yalnızca eskimez; bazen tamamen geçersiz hâle gelir. Akademik yayıncılıkta geri çekme maddesi, geri çekmeyi bir dergide yayımlanmış bir makalenin içeriğinin reddedildiği ve sonuçlarına artık güvenilemeyeceğinin bildirildiği bir düzenek olarak tanımlıyor. Madde, geri çekilen makalelerin genellikle literatürden kaldırılmadığını, geri çekildiği işaretlenerek bırakıldığını; makalelerin çoğunlukla hata ya da kötü davranış yüzünden ciddi biçimde kusurlu ve esasen yanlış oldukları için geri çekildiğini ve geri çekmenin amacının yazarları cezalandırmak değil, literatürü düzeltmek olduğunu yazıyor.

Geri çekilen makalelerin izini sürmek için bir araç da var. Retraction Watch maddesi, bilimsel makalelerin geri çekilmesini ve ilgili konuları haberleştiren bu blogun iki bin on ağustosunda bilim yazarları Ivan Oransky ve Adam Marcus tarafından başlatıldığını ve bir geri çekme veri tabanının iki bin on beşte bir vakıf desteğiyle kurulduğunu yazıyor. Kurucular, bilimsel yayınlarda hakem değerlendirmesinin yayın tarihinden çok sonra da sürdüğünü vurguluyordu.

Bir güncelleme politikası kurmak

Bu iki olgu, eskime ve geri çekme, bir kursun kendiliğinden güncel kalmayacağını gösteriyor. Bir kaynak güncelleme politikası dört parçadan oluşabilir: kursun dayandığı bütün kaynakların, kullanıldıkları yerle birlikte tutulduğu bir kaynak listesi; bu listenin düzenli aralıklarla gözden geçirildiği bir takvim; takvimi beklemeden bir güncellemeyi başlatan durumlar, örneğin bir kılavuzun yenilenmesi, bir makalenin geri çekilmesi ya da bir öğrencinin bir çelişkiyi fark etmesi; ve yapılan her değişikliğin tarihi ve gerekçesiyle yazıldığı bir kayıt.

Kimin kanıtı eklendi

Ten tonu bu noktada, yeni kanıtın özellikle az temsil edilen gruplar için bir etiketi nasıl değiştirebildiğini sorar. NCCIH özeti, Y5.97'de okuduğumuz gibi, kendi dayandığı çalışmaların çoğunlukla kadın, beyaz, eğitimli ve görece varlıklı katılımcılarla yapıldığını açıkça belirtiyordu. Bu, bir kursun ilk yazıldığı andaki kanıtın, az temsil edilen gruplar hakkında çoğu zaman sessiz olduğu anlamına gelir. Yeni çalışmalar bu grupları kapsadığında, bir iddianın etiketi o gruplar için değişebilir. Y5.75'te parmak ucu nabız oksimetrelerinin koyu tende daha az doğru ölçüm verdiğine dair bulguları görmüştük; bir kursun ölçüm bölümü, bu tür bir bulgu yayımlandığında güncellenmelidir. Bir güncelleme politikası yalnızca ana bulgulardaki değişimi değil, alt gruplara dair yeni kanıtı da izlemelidir; aksi hâlde kurs, en çok kanıtı olan grup için güncel, öbürleri için eski kalır.

Örneklerden okuma

Usta katmanı

Bir kurs bir kez yazılıp bırakılamaz; dayandığı kanıt eskir, bazen tersine döner, bazen tamamen geçersiz hâle gelir. Bir kaynak güncelleme politikası, bu değişimin rastlantıyla değil, bir düzenle fark edilmesini sağlar.

Usta öğretmen kaynaklarını bir liste olarak tutar ve her kaynağın kursta nerede kullanıldığını bilir. Düzenli bir gözden geçirme takvimi kurar, ama bir kılavuzun yenilenmesini ya da bir makalenin geri çekilmesini takvimi beklemeden bir tetikleyici sayar. Yaptığı her değişikliği tarihi ve gerekçesiyle kaydeder; bir fikrini kanıtla değiştirmeyi bir tutarsızlık değil bir dürüstlük olarak görür.

Usta öğretmen güncellemenin kimin kanıtını eklediğini de sorar. Bir kursun ilk yazıldığı andaki kanıtın az temsil edilen gruplar hakkında çoğu zaman sessiz olduğunu bilir ve bu gruplara dair yeni çalışmaları ayrıca izler; kursunun, en çok kanıtı olan grup için güncel, öbürleri için eski kalmasına izin vermez.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

Bir kursun dayandığı bilgi eskir; yerleşik uygulamalar bile yeni ve daha iyi çalışmalarla tersine dönebilir.

Geri çekilen makaleler çoğu zaman literatürde işaretlenerek kalır; bir kaynağın geri çekilip çekilmediği ayrıca kontrol edilir.

Bir güncelleme politikası dört parçadan oluşur: kaynak listesi, gözden geçirme takvimi, tetikleyici durumlar ve değişiklik kaydı.

Bir fikri kanıtla değiştirmek bir tutarsızlık değil, bir dürüstlüktür; değişiklik kaydı bunu okura gösterir.

Güncelleme, az temsil edilen gruplara dair yeni kanıtı da izler; kurs, herkes için aynı ölçüde güncel kalmalıdır.

Sonraki derse köprü

Bu derste bir kursun kendi kaynaklarını düzenli olarak gözden geçirmesini konuştuk. Ama bir öğretmen kendi kursunun kusurlarının bir kısmını yalnızca başkalarının gözüyle görebilir.

Sıradaki dersin konusu akran değerlendirme yönergesi.

Soru şu: bir meslektaşın bitirme projesi, kursu ya da ders taslağı önüne geldiğinde hangi ölçütlere bakılır, eleştiri nasıl yapıcı ve somut kılınır, ve değerlendiren kişi kendi önyargılarına karşı nasıl önlem alır?