Akran değerlendirme yönergesi

Açılış sahnesi

Öğretmen yetiştirme programının son ayında adaylar bitirme projelerini, birer mini kursu, birbirlerine teslim ediyor. Her aday bir meslektaşının kursunu değerlendirecek, kendi kursu da bir başkası tarafından değerlendirilecek. Kendi sırt ve omuz kursunu teslim etmiş olan öğretmenin payına, büyük bir kentin dışındaki küçük bir ilçede yaşlı kadınlar için "sandalyede nefes ve hareket" kursu hazırlamış bir meslektaşının projesi düşüyor.

Öğretmen kursu okurken hızla bir izlenim ediniyor. Kitapçık sade, görseller telefonla çekilmiş, bazı cümleler bir öğretmen yetiştirme kitabının diliyle değil gündelik bir dille yazılmış. İlk tepkisi "pek profesyonel değil" oluyor. Değerlendirme formuna bir paragraf yazıyor; paragrafın çoğu kitapçığın görünüşüyle ilgili.

Aynı akşam kendi kursuna gelen değerlendirmeyi okuyor. Değerlendiren meslektaşı kursun zarar haritasını, kaynak listesini ve şikâyet düzenini tek tek incelemiş, ama değerlendirmesinin sonuna "bu kadar ayrıntıya gerek yok, yoga özgür olmalı" diye bir not düşmüş. Öğretmen iki değerlendirmeyi yan yana koyunca bir şey fark ediyor: ikisi de değerlendirenin zevkini, kursun kendisinden çok daha fazla anlatıyor.

Bu derste ne olacak

Bu ders, bitirme projelerinin bir meslektaş tarafından nasıl değerlendirileceğini ve bu değerlendirmenin nasıl adil ve yararlı kılınacağını ele alıyor. Önce akran değerlendirmesinin ne olduğunu, neyi iyi yaptığını ve sınırlarını göreceğiz. Sonra bir değerlendirmeyi zevkten ölçüte taşıyan aracı, ölçüt tablosunu ve bu birimin hedefinden türeyen dört boyutunu kuracağız. Ardından değerlendiren kişinin kendi önyargılarına bakacağız: kendi görüşüne uymayanı daha sert eleştirme eğilimini ve bir kursun görünüşünün onun içeriğine dair yargıyı nasıl etkileyebildiğini. En sonda bir değerlendirmenin kimin emeğini daha kolay "profesyonel" saydığını soracağız; ten tonu burada, değerlendirme süreçlerinin kentin dışındaki ve kaynağı az topluluklardan gelenlere karşı nasıl yanlı olabildiğine bakacak.

Sıfır noktası

Birimin başında konan hedef dört sıfatla özetlenmişti: kursun kaynakları gösterilmiş olacak, katılımcıyı zarardan koruyacak, farklı bedenlere yer açacak ve sonuçları izlenebilecek. Sonraki derslerde her nitelik bir araca dönüştü. Elimizde artık zarar haritası (Y5.99), doğru ama yanıltıcı söz için bir dikkat listesi (Y5.100), çıkar sütunu (Y5.101), malzemelere taşınan kaynak zinciri (Y5.102), kapsam listesi (Y5.103), şikâyet düzeni (Y5.104) ve kaynak güncelleme politikası (Y5.105) var.

Bu ders o araçları bir başkasının kursuna bakarken kullanmayı öğretiyor. Ayrıca hale etkisini (Y5.37), bir alandaki olumlu izlenimin başka alanlardaki yargıyı etkilemesini, bu kez bir değerlendiricinin kendi yargısında arayacağız.

Mekanizma

Akran değerlendirmesi

Akran değerlendirmesi maddesi, bu uygulamayı bir işin, o işi yapanlarla benzer yetkinliklere sahip bir ya da birden çok kişi tarafından değerlendirilmesi olarak tanımlıyor; bir meslek alanının nitelikli üyeleri tarafından yürütülen bir öz düzenleme biçimi olduğunu, nitelik standartlarını korumak, başarımı geliştirmek ve güvenilirlik sağlamak için kullanıldığını ve bir öğretim aracı olarak da kullanılabildiğini yazıyor.

Akran geri bildirimi maddesi, öğrencilerin birbirinin işine yaptığı yorumların birbirlerinden öğrenme fırsatı sunduğunu, akran geri bildiriminin kaygıyı azaltıp öz güveni artırabildiğini yazıyor; ama aynı zamanda yararsız geri bildirim ve akranların değerlendirme becerisinin güvenilirliği konusundaki kaygıları da aktarıyor ve öğretmenlerin öğrencileri akran değerlendirmesine hazırlamasını öneriyor. Bilimsel akran değerlendirmesi maddesi ise bu yöntemin eleştirilerini de sayıyor: bir eski tıp dergisi editörünün onu yavaş, pahalı ve yanlılığa açık bulduğunu aktarıyor.

Ölçüt tablosu

Bir değerlendirmeyi zevkten ölçüte taşımanın aracı ölçüt tablosudur. Ölçüt tablosu maddesi, bu aracı öğrencilerin ürettiği yanıtların niteliğini değerlendirmek için kullanılan bir puanlama rehberi olarak tanımlıyor; genellikle bir tablo biçiminde sunulduğunu ve değerlendirme ölçütlerini, farklı başarı düzeyleri için nitelik tanımlarını ve bir puanlama yöntemini içerdiğini, hem öğretmenin notlandırmasına hem de öğrencinin işini planlamasına hizmet ettiğini yazıyor.

Bu birimin bitirme projesi için ölçüt tablosunun boyutları, birimin kendi hedefinden gelir. Kaynaklı: dizilerin, yönergelerin, görsellerin ve iddiaların kaynağı gösterilmiş mi, kaynak listesi ve güncelleme politikası var mı? Güvenli: zarar haritası, durma kuralları ve olay kaydı var mı, kapsam sınırı yazılı mı? Kapsayıcı: seçenekler, dil, görseller ve şikâyet düzeni farklı bedenleri ve toplulukları gözetiyor mu? Ölçülebilir: kursun hedefleri nasıl izleniyor, bir sonucun kursa mı yoksa başka bir şeye mi ait olduğu nasıl anlaşılıyor?

Değerlendiricinin önyargıları

Ölçüt tablosu bir değerlendirmeyi güçlendirir, ama değerlendiricinin önyargılarını ortadan kaldırmaz. Doğrulama yanlılığı maddesi, birkaç çalışmanın bilim insanlarının önceki inançlarıyla uyuşan bulguları bildiren çalışmaları, uyuşmayanlardan daha olumlu değerlendirdiğini gösterdiğini yazıyor; akran değerlendirmesinin bu kişisel yanlılıkları azaltmayı amaçladığını, ama sürecin kendisinin de onlara açık olabildiğini ekliyor. Açılıştaki iki değerlendirme de bunun örneğiydi: biri yalın bir kitapçığı "profesyonel değil" diye, öteki ayrıntılı bir güvenlik düzenini "yoga özgür olmalı" diye, kendi görüşlerinden yargıladı.

Madde, yanlılığa karşı bir yöntemi de anlatıyor: yazarların kimliğinin değerlendiricilerden, değerlendiricilerin kimliğinin de yazarlardan gizlendiği çift kör değerlendirme. Ama madde, eleştirmenlerin, bütün çabalara rağmen belirli yaklaşımların, yöntemlerin ve yazım biçemlerinin çoğu zaman belirli bir gruba, hatta belirli bir kişiye işaret ettiği için bu gizliliğin sık sık bozulduğunu söylediğini de aktarıyor.

Kimin emeği "profesyonel" sayılıyor

Bu bölümde ten tonunun sorusu şu: bir değerlendirme kimin emeğini daha kolay "profesyonel" sayıyor? Bilimsel akran değerlendirmesi maddesi, İngiliz tıp dergisi British Medical Journal'ın eski editörü Richard Smith'in akran değerlendirmesini yanlılığa açık bulduğunu ve birkaç çalışmanın akran değerlendirmesinin taşradakilere ve düşük ve orta gelirli ülkelerden gelenlere karşı yanlı olduğunu gösterdiğini söylediğini aktarıyor. Bir öğretmen yetiştirme programında bu, büyük kentin dışından, farklı bir dil ya da biçemle, daha az kaynakla hazırlanmış bir kursun, niteliğinden bağımsız olarak daha düşük değerlendirilebileceği anlamına gelir. Açılıştaki ilçedeki yaşlı kadınlar için hazırlanmış yalın kitapçık, belki de tam bu yüzden "profesyonel değil" diye okunmuştu. Kursun hazırlandığı topluluk koyu tenli, göçmen ya da yoksulsa, değerlendiricinin kendine bir soru daha sorması gerekir: hale etkisi bir alandaki olumlu izlenimi başka alanlara taşıyabiliyorsa, bir kitapçığın görünüşüne dair olumsuz izlenim de içeriğine taşınıyor olabilir mi?

Örneklerden okuma

Usta katmanı

Akran değerlendirmesi, bir meslektaşın gözüyle bir işi görmenin ve bir mesleğin kendi niteliğini korumasının bir yoludur; ama değerlendirmenin değeri, değerlendiricinin zevkini değil, işin kendisini anlatmasına bağlıdır. Ölçüt tablosu bu farkı kurar: boyutları, düzey tanımları ve puanlamasıyla bir değerlendirmeyi zevkten ölçüte taşır.

Usta öğretmen bir değerlendirmede hem güçlü yanları hem de somut düzeltme önerilerini, işin hangi yerine dayandığını belirterek yazar. Kendi görüşüne uymayanı daha sert, uyanı daha hoşgörüyle değerlendirme eğilimini bilir ve bir işin görünüşünün içeriğine dair yargısını etkilemesine karşı dikkatli olur. Bir çıkar ya da ilişki değerlendirmesini etkileyebilecekse, değerlendirmeden çekilir.

Usta öğretmen bir değerlendirme sürecinin kimin emeğini daha kolay "profesyonel" saydığını sorar. Kent dışından, farklı bir dil ya da biçemle, daha az kaynakla hazırlanmış bir işi, kendi beklentisiyle değil, o işin hedef kitlesinin gözüyle okur. Ve kendi işine gelen değerlendirmeleri de aynı gözle, zevkle ölçütü ayırarak, okur.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

Akran değerlendirmesinin değeri, değerlendiricinin zevkini değil, işin kendisini anlatmasına bağlıdır.

Ölçüt tablosu bir değerlendirmeyi zevkten ölçüte taşır; bu birimin boyutları kaynaklı, güvenli, kapsayıcı ve ölçülebilirdir.

Değerlendiriciler kendi görüşüne uymayanı daha sert değerlendirme eğilimindedir; bir işin görünüşü içeriğine dair yargıyı etkileyebilir.

Çift kör değerlendirme yanlılığı azaltır ama tamamen ortadan kaldırmaz; bir ilişki ya da çıkar varsa değerlendirmeden çekilinir.

Değerlendirme süreçleri kent dışından ve kaynağı az topluluklardan gelenlere karşı yanlı olabilir; bir iş, hedef kitlesinin gözüyle okunur.

Sonraki derse köprü

Bu derste bir meslektaşın bitirme projesini adil ve yararlı biçimde değerlendirmeyi konuştuk. Değerlendirmeler tamamlandığında, bu eğitimin son adımı kalıyor: yapılanı görmek ve bundan sonrasını planlamak.

Sıradaki dersin konusu tebrik ve sürekli öğrenme planı.

Soru şu: bir öğretmen yetiştirme programının sonunda bir öğretmen neyi başardığını nasıl görür, hangi alanlarda öğrenmeyi sürdürmesi gerektiğini nasıl belirler, ve kanıt değiştikçe kendi öğretmenliğini güncel tutmak için nasıl bir plan kurar?