Giriş
Bir öğrenci, çoktan seçmeli bir sınavda şu soruyla karşılaşır: "Gettier'in 1963 tarihli makalesi hangi bilgi tanımına itiraz eder? A) Bilgi algıdır. B) Bilgi gerekçelendirilmiş doğru inançtır. C) Bilgi hatırlamadır. D) Bilgi güvenilir süreçtir." Öğrenci B'yi işaretler ve puanı alır. Ama öğrenci, Gettier'in itirazının ne olduğunu biliyor mu? Belki biliyor. Belki ders notlarında "Gettier" kelimesinin hemen yanında "gerekçelendirilmiş doğru inanç" ifadesini gördüğünü hatırlıyor. Belki de dört seçenekten birini rastgele seçti ve şanslıydı.
Bu sahnede tanıdık bir yapı var. Öğrencinin doğru bir cevabı var; ama bu cevabın arkasında bilgi mi, bir çağrışım mı, yoksa şans mı olduğunu soru ayırt edemiyor. Gettier dersinde, doğru ve gerekçeli görünen bir inancın şans eseri doğru olabileceğini görmüştün. Değerlendirme tasarımı, tersinden bir Gettier sorunudur: bir öğretmen, öğrencinin doğru cevabından onun bildiği sonucuna varmak ister; ama doğru cevap, bilginin kendisi değil, onun bir işaretidir ve işaretler yanıltabilir.
Bir öğretmenin asıl sorusu budur: öğrencinin kafasının içini göremeden, orada neyin olduğuna nasıl karar verir? Bu ders değerlendirmeyi bir bilgi sorunu olarak ele alıyor; sınav sorusu, puanlama tablosu ve proje tasarımını, bu akademinin kanıt, tanıklık ve gerekçelendirme kavramlarıyla birlikte düşünüyor.
Bu dersin kazanımları:
- Geriye doğru tasarımı, geçerlilik ile güvenirlik ayrımını, biçimlendirici ile özetleyici değerlendirme farkını ve Campbell yasasını açıklarsın. (anla)
- Bir kazanımın gerçekten öğrenilip öğrenilmediğini gösterecek ölçütleri ve düzey tanımlarını Rubrik Yazıcı ile yazarsın. (uygula)
- Bir sınavın, rubriğin ya da performans göstergesinin, ölçmek istediği şeyi ne ölçüde yakaladığını ve hangi biçimde bozabileceğini değerlendirirsin. (değerlendir)
Ana anlatım
Görünmeyeni görünür kılmak
Değerlendirmenin temel sorunu, ölçmek istediğimiz şeyin görünmez olmasıdır. Bir öğrencinin anlayışı, onun zihnindedir; ona doğrudan bakamayız. Görebildiğimiz şey yalnızca bir performanstır: bir sınav cevabı, bir deneme, bir sunum, bir proje. Değerlendirme, bu görünür performanstan görünmez anlayışa doğru yapılan bir çıkarımdır.
Bu, bu akademide defalarca gördüğün bir yapıdır. Tümdengelim, tümevarım ve en iyi açıklamaya çıkarım dersinde, gözlenen bir işaretten görünmeyen bir nedene varmanın en iyi açıklamaya çıkarım olduğunu görmüştün. Bir öğrencinin doğru cevabının en iyi açıklaması, onun konuyu anlamış olması olabilir; ama ezber, çağrışım, kopya ya da şans da rakip açıklamalardır. İyi bir değerlendirme, bu rakip açıklamaları dışlayacak biçimde tasarlanmış bir değerlendirmedir.
Budist mantıkçıların işaret ile sonuç arasında aradığı bağ burada da iş görür. Bir sınav cevabı, anlamanın bir işaretidir. Ama bu işaret, anlamanın olmadığı durumlarda da ortaya çıkabiliyorsa, yani bir öğrenci konuyu anlamadan da bu cevabı verebiliyorsa, işaret güvenilir değildir. Çoktan seçmeli bir soruda doğru şık, anlamadan da işaretlenebilir; ama öğrencinin daha önce hiç görmediği bir vakayı kendi kelimeleriyle çözümlemesi, anlamadan çok daha zor taklit edilir.
Geriye doğru tasarım
Wiggins ile McTighe, 1998 tarihli kitaplarında, öğretimin çoğu zaman yanlış sırayla tasarlandığını savundu. Öğretmenler genellikle önce içeriği seçer: hangi konuları anlatacaklarını, hangi kitapları okutacaklarını. Değerlendirmeyi ise en sona, dönemin sonuna bırakırlar. Wiggins ve McTighe, bu sırayı tersine çevirmeyi önerdi ve buna geriye doğru tasarım adını verdi.
Geriye doğru tasarımın üç aşaması vardır. Birinci aşamada, öğrencinin dersin sonunda ne anlaması ve ne yapabilmesi gerektiğini belirlersin. İkinci aşamada, bu anlamanın ve becerinin gerçekleştiğini gösterecek kanıtın ne olacağına karar verirsin: hangi performans, hangi ürün, hangi cevap bunu gösterir? Ancak üçüncü aşamada, bu kanıtı üretmeye öğrenciyi hazırlayacak öğretimi tasarlarsın.
Wiggins ve McTighe, anlamanın tek bir şey olmadığını da vurguladı ve onun birkaç yüzünü sıraladı: bir şeyi açıklayabilmek, yorumlayabilmek, yeni bir durumda uygulayabilmek, farklı bakış açılarından görebilmek, başkalarının deneyimine empatiyle yaklaşabilmek ve kendi anlayışının sınırlarını bilebilmek. Anlama ve bilgelik dersinde, anlamanın bilgiden farklı ve belki daha değerli bir epistemik hedef olduğunu görmüştün; bu liste, o farkın bir öğretmen için nasıl somutlaşabileceğini gösterir. Bir öğrencinin bir tanımı ezberlemesi, bu yüzlerden hiçbirini göstermez.
Geçerlilik ve güvenirlik
Bir değerlendirmenin iki temel niteliği vardır. Geçerlilik, değerlendirmenin ölçmek istediği şeyi gerçekten ölçüp ölçmediğidir. Gettier tartışmasını anlamayı ölçmek isteyen bir sınav, yalnızca bir ismi bir tanımla eşleştirmeyi istiyorsa, anlamayı değil, bir çağrışımı ölçüyordur; geçerliliği düşüktür. Güvenirlik ise değerlendirmenin tutarlı olup olmadığıdır: aynı öğrencinin aynı performansı, farklı değerlendiriciler tarafından ya da farklı zamanlarda aynı biçimde puanlanıyor mu?
İki nitelik arasında bir gerilim vardır ve bu gerilim, bu akademinin baştan beri tartıştığı bir ikilemi hatırlatır. Çoktan seçmeli sınavlar son derece güvenilirdir: bir cevap anahtarıyla puanlandıkları için, kim puanlarsa puanlasın aynı sonuç çıkar. Ama çoğu zaman geçerlilikleri sınırlıdır: derin anlamayı, karmaşık akıl yürütmeyi ya da yaratıcı uygulamayı yakalamakta zorlanırlar. Açık uçlu denemeler ve projeler ise anlamayı daha geçerli biçimde ölçebilir; ama puanlayan kişiye göre değişebildikleri için güvenirlikleri düşüktür. Güvenilircilik dersinde, bir sürecin güvenilirliğini sormanın önemini görmüştün; burada aynı soru, değerlendirmenin kendisine sorulur.
Yanlış şıkların bilgisi
Çoktan seçmeli sorunun geçerlilik sorunu kaçınılmaz değildir; çoğu zaman sorunun nasıl yazıldığına bağlıdır. 1992'de Amerikalı fizik eğitimcileri David Hestenes, Malcolm Wells ve Gregg Swackhamer, Kuvvet Kavramı Envanteri adını verdikleri bir test yayımladı. Testin özgünlüğü, yanlış şıklarındaydı: her yanlış şık, rastgele değil, öğrencilerin kuvvet ve hareket hakkında sık taşıdığı belirli bir kavram yanılgısını, örneğin hareket eden bir cismin mutlaka hareket yönünde bir kuvvetle itildiği inancını yansıtacak biçimde yazılmıştı. Böylece bir öğrencinin hangi yanlış şıkkı seçtiği, onun zihnindeki modeli ortaya koyuyordu. Test, fizik derslerinde formülleri doğru uygulayan birçok öğrencinin, temel kavramlarda bu yanılgıları koruduğunu gösterdi ve fizik öğretimini yeniden düşünmeye yol açtı. Buradan çıkan ders şudur: bir soru, doğru cevabı kadar yanlış cevaplarıyla da bilgi verir; iyi tasarlanmış yanlış şıklar, şansla doğru cevabı ayıklamasa da, yanlış anlamayı görünür kılar.
Rubrik: değerlendirmeyi açık kılmak
Açık uçlu değerlendirmelerin güvenirliğini artırmanın en yaygın yolu rubriktir. Rubrik, bir ürünün ya da performansın hangi ölçütlere göre değerlendirileceğini ve her ölçütte farklı düzeylerin neye benzediğini açıkça tanımlayan bir tablodur. Örneğin bir deneme için ölçütler, tezin açıklığı, kanıtın kullanımı, karşı görüşün ele alınması ve kesinliğin uygun ifadesi olabilir; her biri için, "yetersiz", "gelişen", "yeterli" ve "örnek" düzeylerinin gözlenebilir betimlemeleri yazılır.
İyi bir rubriğin anahtarı, düzey betimlemelerinin gözlenebilir olmasıdır. "Kanıt kullanımı iyi" gibi bir betimleme, iki değerlendiricinin aynı denemeye farklı puanlar vermesini engellemez; çünkü "iyi"nin ne olduğu belirsizdir. "Her temel iddia için en az bir kaynak gösteriyor ve kaynağın güvenilirliğini değerlendiriyor" gibi bir betimleme ise, değerlendiricinin ürüne bakıp bir şeyin var olup olmadığını kontrol etmesini sağlar. Kavram analizi dersinde gördüğün gerekli ve yeterli koşul arayışı, burada bir pratik araca dönüşür: bir düzeyi tanımlamak, o düzeye ait olmanın gözlenebilir koşullarını yazmaktır.
Rubriğin ikinci bir yararı daha vardır: öğrenciye, değerlendirmeden önce verildiğinde, ondan neyin beklendiğini açıkça gösterir. Bu, değerlendirmeyi bir sınav olmaktan çıkarıp bir öğrenme aracına dönüştürür. İngiliz eğitim araştırmacıları Paul Black ve Dylan Wiliam, 1998'de yayımladıkları kapsamlı bir derlemede, öğrenme sürecinde verilen ve öğrenciye nasıl ilerleyeceğini gösteren biçimlendirici değerlendirmenin, öğrenme üzerinde önemli olumlu etkileri olduğunu öne süren araştırmaları bir araya getirdi. Biçimlendirici değerlendirme, bir dönemin sonunda verilen ve öğrencinin ulaştığı düzeyi kaydeden özetleyici değerlendirmeden farklıdır: biri öğrenmeye yön verir, öbürü öğrenmeyi belgeler.
Ölçülen şey bozulduğunda
Değerlendirmenin en ciddi riski, ölçümün kendisinin, ölçtüğü şeyi değiştirmesidir. İngiliz iktisatçı Charles Goodhart, 1975'te para politikası üzerine yazdığı bir makalede, bir göstergenin kontrol amacıyla kullanılmaya başlandığında güvenilirliğini yitirmeye eğilimli olduğunu gözlemledi; bu gözlem sonradan Goodhart yasası adıyla yaygınlaştı. Amerikalı sosyal bilimci Donald Campbell ise 1970'lerin ikinci yarısında, aynı olguyu toplumsal politikalar için dile getirdi: nicel bir toplumsal gösterge, toplumsal kararlarda ne kadar çok kullanılırsa, bozulma baskılarına o kadar açık hâle gelir ve izlemesi gereken toplumsal süreçleri o kadar çarpıtır.
Eğitimde Campbell yasası, sınava göre öğretme biçiminde ortaya çıkar. Bir okulun ya da öğretmenin başarısı tek bir sınavın puanlarıyla ölçülmeye başlandığında, öğretim, o sınavın soru biçimlerine ve konularına daralır. Öğrenciler sınavda daha iyi puan alır; ama sınavın ölçmesi gereken geniş anlama azalabilir. Puan yükselir, anlama yerinde sayar ya da geriler; ve gösterge, artık ölçmesi gereken şeyin güvenilir bir işareti olmaktan çıkar. Bu, bu dersin başındaki Gettier sorununun kurumsal ölçekteki biçimidir: doğru cevaplar artar, ama onların arkasındaki bilgi azalır.
Campbell yasasına karşı tek bir çare yoktur; ama birkaç önlem vardır. Birincisi, tek bir göstergeye dayanmamak; anlamayı farklı biçimlerde ölçen birkaç değerlendirmeyi birleştirmek. İkincisi, değerlendirmeyi öğrencinin yeni bir durumda uygulamasını gerektirecek biçimde tasarlamak; ezberlenmiş kalıplarla çözülemeyen sorular sormak. Üçüncüsü, değerlendirmenin sonuçlarını, kişileri ya da kurumları ödüllendirmek ya da cezalandırmak için değil, öğrenmeyi iyileştirmek için kullanmak.
Rubrik Yazıcı
Rubrik Yazıcı, buraya kadarki ilkeleri bir yazım sırasına dizer. Önce kazanımı yazarsın: öğrencinin ne yapabilmesi gerekiyor? Bunu bir Bloom fiiliyle, yani anlamak, uygulamak, çözümlemek, değerlendirmek gibi bir eylemle ifade edersin. İkinci olarak kanıtı belirlersin: hangi performans ya da ürün bu kazanımı gösterir? Geriye doğru tasarımın ilkesiyle, bu kanıtı öğretimden önce seçersin. Üçüncü olarak ölçütleri yazarsın: üç ila beş bağımsız boyut; her biri kazanımın bir yüzünü yakalamalı ve birbiriyle örtüşmemeli. Dördüncü olarak her ölçüt için düzey betimlemelerini yazarsın: her düzeyde ürünün içinde neyin gözlenebilir olarak bulunması gerektiğini; "iyi", "zayıf" gibi boş sıfatlar yerine somut özellikler. Son olarak sınarsın: iki kişiye aynı ürünü rubrikle değerlendirtip puanların tutup tutmadığına bakarak güvenirliği; bir öğrencinin konuyu anlamadan bu rubrikte yüksek puan alıp alamayacağını sorarak geçerliliği; ve rubriğin öğrencileri, kazanımın kendisi yerine rubriğin harfine göre çalışmaya itip itmeyeceğini sorarak Campbell riskini.
Rubrik Yazıcı'nın da bir 5K kapısı yok; yine de son adımı, Kanıt kapısının sınıftaki karşılığıdır: bir performansın, bir anlamanın güvenilir kanıtı olup olmadığını sorar.
Örnekler
Basit örnek: bir tarifi uygulamak
Bir aile, on iki yaşındaki çocuklarına yemek pişirmeyi öğretiyor ve bir akşam onun tek başına makarna yapmasını istiyor. Rubrik Yazıcı'yı uygulayalım. Kazanım: çocuk, basit bir tarifi güvenli ve bağımsız biçimde uygulayabilir. Kanıt: çocuğun gözetim altında ama yardım almadan bir makarna yemeği hazırlaması. Ölçütler: güvenlik (ocak ve bıçak kullanımı), tarifin adımlarını izleme, zamanlama, sonuç. Düzey betimlemeleri, örneğin güvenlik için: "yetersiz: sıcak tencereyi tutacak kullanmadan tutuyor"; "yeterli: tutacak kullanıyor, tencerenin sapını ocağın dışına taşırmıyor"; "örnek: işi bitince ocağı kendiliğinden kontrol ediyor." Sınama: geçerlilik açısından, çocuk tarifi ezberlemiş ama neden suyun önce kaynaması gerektiğini bilmiyorsa, bu rubrik onu yakalar mı? Belki bir ölçüt daha eklenmeli: "bir adımın nedenini açıklayabiliyor." Campbell riski: çocuk, yalnızca "sonuç" ölçütüne önem verildiğini düşünürse, güvenlik adımlarını atlayabilir; bu yüzden güvenlik ölçütünün ağırlığı açıkça belirtilmeli. Sonuç: basit bir ev görevi bile, ne ölçüldüğü açıkça yazıldığında, hem daha adil değerlendirilir hem daha iyi öğrenilir.
Orta örnek: bir çağrı merkezinin performans göstergesi
Bir şirketin çağrı merkezi, temsilcilerin performansını tek bir göstergeyle ölçmeye başlıyor: bir çağrının ortalama süresi. Daha kısa çağrılar daha verimli sayılıyor ve temsilcilerin primleri buna bağlanıyor. Birkaç ay sonra ortalama çağrı süresi düşüyor; ama müşteri şikâyetleri artıyor ve aynı müşteriler aynı sorun için tekrar tekrar arıyor. Rubrik Yazıcı'yı uygulayalım. Kazanım: temsilci, müşterinin sorununu verimli ve kalıcı biçimde çözer. Kanıt: yalnızca çağrı süresi değil, sorunun ilk çağrıda çözülüp çözülmediği ve müşterinin sonraki memnuniyeti. Ölçütler: çözüm (sorun ilk çağrıda çözüldü mü), doğruluk (verilen bilgi doğru muydu), verimlilik (süre), iletişim. Düzey betimlemeleri, örneğin çözüm için: "yetersiz: müşteri aynı sorun için bir hafta içinde yeniden aradı"; "yeterli: sorun ilk çağrıda çözüldü"; "örnek: sorun çözüldü ve temsilci müşterinin gelecekte karşılaşabileceği ilgili bir sorunu da önceden ele aldı." Sınama: Campbell riski açıktır; tek göstergeli sistem, temsilcileri sorunu çözmek yerine çağrıyı hızla bitirmeye itti. Çok ölçütlü bir rubrik, bu bozulmayı azaltır; ama yeni göstergelerin de zamanla aynı baskıya uğrayabileceği unutulmamalı. Sonuç: ölçüm, davranışı değiştirir; iyi bir rubrik, değiştirmek istediğin davranışı ölçer.
Gerçek hayat örneği: Atlanta'daki sınav skandalı
2000'lerin başında, ABD'nin Atlanta kentindeki devlet okulları sisteminin eyalet standart sınavlarındaki puanları, dikkat çekici biçimde yükselmeye başladı. Okul bölgesinin yöneticileri bu başarıyla övüldü ve öğretmenlerin ve okulların değerlendirilmesi, primleri ve iş güvenceleri giderek bu puanlara bağlandı. Bir yerel gazetenin puanlardaki istatistiksel olarak olağan dışı artışları sorgulayan haberlerinin ardından, Georgia eyaleti bir soruşturma başlattı. 2011'de yayımlanan soruşturma raporu, onlarca okulda öğretmenlerin ve yöneticilerin öğrencilerin cevap kâğıtlarındaki yanlış cevapları düzelttiğini ortaya koydu. Açılan davalar sonucunda, 2015'te on bir eğitimci mahkûm edildi. Rubrik Yazıcı'nın son adımını, yani sınamayı, bu sisteme uygulayalım. Kazanım: öğrencilerin okuma ve matematik becerilerinin gelişmesi. Kanıt: standart sınav puanları. Geçerlilik sorunu: puanlar, öğrencilerin becerilerini değil, cevap kâğıtlarına sonradan yapılan müdahaleyi yansıtıyordu; işaret, işaret ettiği şeyden tamamen kopmuştu. Campbell riski: göstergeye bağlanan ödüller ve cezalar ne kadar ağırlaştıysa, göstergeyi bozma baskısı o kadar arttı; Campbell'ın uyarısı neredeyse kelimesi kelimesine gerçekleşti. Önlemler: tek bir göstergeye bağımlılığı azaltmak, puanlardaki olağan dışı değişimleri bağımsız olarak denetlemek ve değerlendirmeyi cezalandırma aracı olmaktan çıkarıp öğrenmeyi iyileştirme aracına dönüştürmek. Sonuç: bu skandal, bireysel bir dürüstlük çöküşü olduğu kadar, bir değerlendirme sisteminin tasarımının da sonucuydu. En kötü sonuç, öğrencilere oldu: gerçekte ihtiyaç duydukları destek, puanları yüksek göründüğü için onlara ulaşmadı.
Vakaya dönüş
Portföyüne dönelim. Bu modülün son dersinde, kendi epistemolojik pozisyonunu yazacaksın. Geriye doğru tasarımın ilkesini kendine uygula: o pozisyon beyanını yazmadan önce, onu nasıl değerlendireceğine karar ver. Rubrik Yazıcı'yı kendi pozisyon beyanına uygulayalım. Kazanım: bu akademinin araçlarını ve kavramlarını, kendi bilgi anlayışını tutarlı, gerekçeli ve kendi sınırlarının farkında bir biçimde ifade etmek için kullanabilmek. Kanıt: yaklaşık iki sayfalık bir pozisyon beyanı. Ölçütler: tez açıklığı, yani hangi temel konularda nerede durduğunu açıkça söylüyor mu; gerekçe, yani her tutumu bu akademide gördüğün bir argümana ya da kanıta dayandırıyor mu; karşı görüş, yani en güçlü itirazı dürüstçe kuruyor mu; ve kesinlik, yani hangi konularda ne kadar emin olduğunu ve neyle fikrini değiştireceğini belirtiyor mu. Bu dört ölçüt, beş kapıdan dördüne karşılık gelir; beşincisi, Kaynak kapısı, portföyündeki ürünlere ve günlüğüne yapılan atıflarla karşılanabilir. Her ölçüt için düzey betimlemelerini yazdığında, bir sonraki derste neyi yazman gerektiğini zaten bilmiş olacaksın.
Araç kartı: Rubrik Yazıcı
| Alan | Açıklama |
|---|---|
| Ne işe yarar | Bir kazanımı, onu gösterecek kanıtı, birbirinden bağımsız ölçütleri ve her ölçüt için gözlenebilir düzey betimlemelerini yazar; rubriğin güvenirliğini, geçerliliğini ve göstergeyi bozma riskini ölçer |
| 5K kapısı | — |
| Adımlar | 1) Kazanımı bir Bloom fiiliyle yaz: öğrenci ne yapabilmeli? 2) Kanıtı öğretimden önce seç: hangi performans ya da ürün bunu gösterir? 3) Üç ila beş bağımsız ölçüt yaz. 4) Her ölçüt için gözlenebilir düzey betimlemeleri yaz; boş sıfatlar kullanma. 5) Sına: iki değerlendirici aynı puanı veriyor mu, anlamadan yüksek puan alınabiliyor mu, rubrik öğrenciyi kazanımın yerine rubriğin harfine mi yöneltiyor? |
| Ne zaman kullanılır | Bir sınav, ödev ya da proje hazırlarken; bir iş yerinde performans değerlendirme sistemi tasarlarken ya da eleştirirken; bir başkasının yazdığı bir rubriğin adil olup olmadığını değerlendirirken; kendi çalışmanı teslim etmeden önce sınarken |
| Sık hata | Ölçülmesi kolay olanı ölçüp ölçülmesi önemli olanı atlamak; "iyi", "yeterli" gibi gözlenemeyen betimlemeler yazmak; rubriği yalnızca puanlamadan sonra kullanıp öğrencilerle önceden paylaşmamak; tek bir göstergeye ağır ödül ya da ceza bağlamak |
Egzersiz
Sonra hayatında seni değerlendiren bir sistemi düşün: bir sınav, bir iş yerindeki performans değerlendirmesi, bir sosyal medya etkileşim sayısı. Günlüğüne, bu sistemin neyi ölçmek istediğini, neyi gerçekten ölçtüğünü ve Campbell yasasının o sistemde nasıl işlediğini, yani göstergenin seni ya da başkalarını hangi davranışa ittiğini yaz.
Mini test
- Değerlendirme neden bir çıkarım sorunudur ve Gettier sorunuyla nasıl bir ilişkisi vardır?
- Geriye doğru tasarımın üç aşaması nelerdir?
- Geçerlilik ile güvenirlik arasındaki fark nedir ve çoktan seçmeli sınavlar bu iki nitelik açısından nasıl değerlendirilir?
- Campbell yasası nedir ve eğitimde nasıl ortaya çıkar?
- Bir üniversite, öğretim üyelerini yalnızca yayımladıkları makale sayısına göre değerlendirmeye ve terfi ettirmeye karar veriyor. Rubrik Yazıcı ile bu sistemi değerlendir.
Cevapları göster
- Ölçmek istediğimiz anlayış görünmezdir; görebildiğimiz yalnızca bir performanstır ve değerlendirme, performanstan anlayışa yapılan bir çıkarımdır. Gettier sorununda olduğu gibi, doğru bir cevap şans, ezber ya da çağrışımla da ortaya çıkabilir; doğru cevap, bilginin kendisi değil, yanıltabilen bir işaretidir.
- Önce öğrencinin ulaşması gereken anlamayı belirlemek; sonra bu anlamayı gösterecek kanıtı seçmek; en son bu kanıta götürecek öğretimi tasarlamak.
- Geçerlilik, aracın ölçmek istediği şeyi gerçekten ölçmesidir; güvenirlik, tutarlı biçimde ölçmesidir. Çoktan seçmeli sınavlar cevap anahtarıyla puanlandığı için çok güvenilirdir; ama derin anlamayı yakalamakta zorlandıkları için geçerlilikleri çoğu zaman sınırlıdır.
- Nicel bir gösterge önemli kararlar için ne kadar çok kullanılırsa, onu yükseltme baskısı o kadar artar ve gösterge ölçmesi gereken süreci o kadar bozar. Eğitimde bu, sınava göre öğretme biçiminde ortaya çıkar: puanlar yükselir, ama ölçmeleri gereken geniş anlama azalabilir.
- Kazanım: öğretim üyesinin değerli ve güvenilir bilgi üretmesi. Kanıt: yalnızca makale sayısı. Geçerlilik sorunu: sayı, makalelerin niteliğini, özgünlüğünü ve etkisini ölçmez; öğretim ve topluma katkı gibi boyutları da dışarıda bırakır. Campbell riski: sistem, aynı çalışmayı küçük parçalara bölmeye, düşük nitelikli dergilerde yayımlamaya ve hızlı ama zayıf araştırmaya yönelmeyi teşvik edebilir. Daha iyi bir rubrik: niteliği bağımsız hakemlerin değerlendirdiği seçilmiş çalışmalar, öğretim, mentorluk ve toplumsal katkı gibi birkaç ölçütü birleştirir.
Özet
- Değerlendirme, görünür bir performanstan görünmez bir anlayışa yapılan bir çıkarımdır; doğru cevap, bilginin kendisi değil, bir işaretidir ve Gettier örneklerinde olduğu gibi şansla da ortaya çıkabilir.
- Geriye doğru tasarım, önce hedeflenen anlamayı, sonra onu gösterecek kanıtı, en son öğretimi belirler; anlamanın açıklama, yorum, uygulama, bakış açısı, empati ve öz-bilgi gibi yüzleri vardır.
- Geçerlilik, doğru şeyi ölçmek; güvenirlik, tutarlı ölçmektir; ikisi arasında bir gerilim vardır.
- Rubrik, ölçütleri ve gözlenebilir düzey betimlemelerini açıkça yazarak güvenirliği artırır ve önceden paylaşıldığında biçimlendirici bir öğrenme aracına dönüşür.
- Goodhart ve Campbell yasaları, bir göstergenin karar aracı olarak kullanıldığında ölçtüğü şeyi bozabileceğini gösterir; Atlanta skandalı bunun çarpıcı bir örneğidir.
- Rubrik Yazıcı, kazanımı, kanıtı, ölçütleri, düzey betimlemelerini yazar ve güvenirliği, geçerliliği ve Campbell riskini sınar.
Flashcard'lar
| Ön yüz | Arka yüz |
|---|---|
| Anlamaya Dayalı Tasarım'ın yazarları ve yılı? | Wiggins ile McTighe, 1998 |
| Geriye doğru tasarımın ilk iki adımı? | Hedeflenen anlama, ardından onu gösterecek kanıt |
| Geçerlilik? | Aracın ölçmek istediği şeyi gerçekten ölçmesi |
| Güvenirlik? | Aracın tutarlı biçimde ölçmesi |
| İyi bir düzey betimlemesinin özelliği? | Gözlenebilir olması |
| Biçimlendirici ile özetleyici değerlendirme farkı? | Biri öğrenmeye yön verir, öbürü öğrenmeyi belgeler |
| Campbell yasası? | Karar için kullanılan gösterge bozulma baskısına açılır ve ölçtüğünü çarpıtır |
| Atlanta skandalı hangi soruşturma raporuyla açığa çıktı? | 2011'de yayımlanan eyalet soruşturma raporu |
Sonraki derse köprü
Bu akademinin son dersine geldin. Seksen yedi ders boyunca, bilginin ne olduğunu, nereden geldiğini, nasıl sınanacağını ve başkasına nasıl aktarılacağını tartıştın. Gettier'in örneklerini, Agrippa'nın üçlemini, Descartes'ın şüphesini, Quine'ın ağını, Nyāya'nın bilgi araçlarını ve Gazâlî'nin yakînini gördün. Ama bu tartışmaların hiçbiri, senin kendi cevabını vermedi. Bilgi için gerekçelendirme mi, güvenilir bir süreç mi gerekir? Şüpheciye nasıl cevap verirsin? Tanıklığa ne zaman güvenirsin? Hangi konularda ne kadar emin olmalısın? Bu soruların her biri, bir pozisyon gerektirir. Ders 11.4, akademiyi kendi epistemolojik pozisyonunu yazarak kapatacak ve sana son aracı, Pozisyon Beyanı Şablonu'nu verecek.
Günlük sorusu: Hayatında seni en çok yanlış değerlendirdiğini düşündüğün sınav ya da ölçüm hangisiydi? O ölçüm neyi ölçmek istiyordu ve gerçekte neyi ölçtü?
Bugün nerede duruyor
Değerlendirmenin epistemolojisi, bugün eğitim araştırmalarının ve politikasının en tartışmalı alanlarından biri. Black ve Wiliam'ın biçimlendirici değerlendirme üzerine derlemesi, birçok ülkenin eğitim politikalarını etkiledi; ama sonraki araştırmacılar, biçimlendirici değerlendirmenin etkisinin, uygulamanın kalitesine bağlı olarak büyük ölçüde değiştiğini ve ilk derlemedeki bazı iyimser tahminlerin abartılı olabileceğini öne sürdü. Yüksek riskli standart sınavların, okulları ve öğretmenleri hesap verebilir kılıp kılmadığı ya da Campbell yasasının öngördüğü bozulmalara mı yol açtığı, birçok ülkede canlı bir tartışma konusu olmaya devam ediyor. Türkiye'de de merkezî sınavların öğretimi ve öğrencilerin çalışma alışkanlıklarını nasıl şekillendirdiği, sınava göre öğretme ve dershane kültürü tartışmalarıyla birlikte sıkça gündeme geliyor. Yapay zekânın gündelik bir yazı aracına dönüşmesi, değerlendirmeye yepyeni bir soru ekledi: bir öğrencinin teslim ettiği bir deneme, artık onun anlayışının güvenilir bir işareti midir? Bu soru, birçok eğitimciyi, yazılı ürünlerin yanında sözlü savunma, sınıf içi yazım ve sürecin belgelenmesi gibi, anlamayı daha doğrudan gösteren değerlendirme biçimlerine yöneltiyor. Değerlendirmenin temel sorusu, yani bir performanstan bir anlayışa nasıl çıkarım yapılacağı, her yeni teknolojiyle yeniden sorulmaya devam ediyor.