Öğretmen kalitesi

Öğrenme çıktıları

• Hatırlama — Öğretmen katma değerini, gözlenebilir öğretmen özelliklerini, büzülme tahminini, yanlışlama testini, kamuya açık performans puanını ve performansa dayalı öğretmen ücretini tanımlar.
• Anlama — Öğretmenler arasındaki farkların öğrenci başarısı üzerindeki etkisinin neden büyük olduğunu, bu etkinin deneyim ya da diploma gibi özelliklerle neden pek açıklanamadığını ve öğretmen katma değerinin nasıl ölçüldüğünü ve tartışıldığını açıklar.
• Uygulama — Bir öğretmenin katma değerini öğrencilerinin puan artışlarından hesaplar; ölçüm gürültüsünü azaltmak için büzülme tahmini uygular; bir öğretmen değişikliğinin öğrencilerin yaşam boyu kazancına etkisini ve bir yanlışlama testinin mantığını sayısal örneklerle gösterir.
• Değerlendirme — Chetty, Friedman ile Rockoff'un öğretmen katma değerinin öğrencilerin yetişkinlikteki sonuçlarına etkisine dair bulgusunu ve Rothstein'ın katma değer modellerine dair yanlışlama testlerini karşılaştırarak, öğretmenlerin değerlendirilmesinde ve ödüllendirilmesinde katma değer ölçümlerinin kullanılmasını tartar.

Sezgi

Açılış

Aynı okulda, aynı koridorda iki dördüncü sınıf öğretmeni var. İki sınıfın öğrencileri benzer mahallelerden, benzer ailelerden geliyor; sınıf mevcutları aynı, ders kitapları aynı. Ama yıl sonunda birinci sınıfın öğrencileri matematikte bir yıllık konuyu rahatça öğrenmişken, ikinci sınıfın öğrencilerinin önemli bir kısmı hâlâ geride. Velilerin çoğu farkı biliyor; her yıl, çocuklarının hangi öğretmene verileceği konusunda okul yönetimiyle görüşmeye çalışıyorlar.

Bu sahne, eğitim ekonomisinin en sağlam bulgularından birini yansıtır: öğretmenler arasındaki farklar, okul içindeki en önemli girdilerden biridir. Önceki derste, Hanushek'in değerlendirmesinde öğretmen kalitesindeki farkların, okul kaynaklarından bağımsız olarak, öğrenmeyi güçlü biçimde etkilediğini gördük. Ama bu bulgu, bir dizi zor soruyu da beraberinde getirir. Bir öğretmenin katkısı, sınıfına düşen öğrencilerden nasıl ayrılır? Bu ölçüm, öğretmenin kendisinden mi, yoksa sınıfına düşen öğrencilerden mi kaynaklanır? Ve bu ölçümler, öğretmenleri değerlendirmek, ödüllendirmek ya da görevden almak için kullanılmalı mıdır?

Bu ders, öğretmen kalitesinin ekonomisini ele alıyor: öğretmenlerin öğrencilere katkısının nasıl ölçüldüğünü, bu ölçümlerin ne kadar güvenilir olduğunu ve öğretmen politikalarının bu ölçümleri nasıl kullanabileceğini.

Hikâye — Gazetede öğretmen puanları

Ağustos 2010'da Los Angeles Times gazetesi, Los Angeles'taki ilkokul öğretmenleri ve okulları için katma değer puanlarını kamuoyuna açıkladı. Gazete, binlerce ilkokul öğretmeninin öğrencilerinin yıllar içindeki test puanı artışlarını çözümleyerek her öğretmene, öğrencilerinin başarısını ne kadar artırdığını gösteren bir puan vermişti. Bu puanlar, öğretmenlerin adlarıyla birlikte, herkesin erişebileceği biçimde yayımlandı.

Gazetenin kararı, ülke çapında sert bir tartışma başlattı. Destekleyenler, velilerin ve kamuoyunun, çocuklarına eğitim veren öğretmenlerin etkililiği hakkında bilgi alma hakkı olduğunu savundu. Eleştirenler ise, katma değer puanlarının ölçüm hataları içerdiğini, bir öğretmenin değerini tek bir sayıya indirgediğini ve öğretmenleri kamuoyu önünde haksız yere damgalayabileceğini söyledi.

Bu olay, iktisatçılar için beklenmedik bir doğal deney de yarattı. Nolan Pope, 2019'da yayımladığı bir çalışmada, puanların açıklanmasının öğretmenlerin performansını nasıl etkilediğini inceledi. Puanların açıklanma zamanlamasını, ortalamaya dönüşü hesaba katmak için kullanarak, düşük puan alan öğretmenlerin öğrencilerinin matematik ve İngilizce test puanlarının arttığını buldu. Yüksek puan alan öğretmenlerin öğrencilerinin puanlarında ise değişiklik ya çok azdı ya da yoktu. Okul puanlarının ek bir etkisi yoktu ve puanların açıklanmasının sınıfların bileşimini ya da öğretmenlerin işten ayrılmasını etkilediğine dair bir kanıt bulunmadı.

Bu bulgu, öğretmen değerlendirmesine dair tartışmanın iki yüzünü bir araya getirir. Bir yanda, kamuya açık bir değerlendirmenin, düşük puan alan öğretmenleri daha çok çalışmaya ya da yöntemlerini değiştirmeye yöneltebileceği görülür. Öbür yanda, puanların kendisinin ne kadar doğru olduğu sorusu yanıtsız kalır: bir öğretmenin düşük puanı, onun gerçekten etkisiz olduğunu mu, yoksa o yıl sınıfına düşen öğrencilerin daha zor durumda olduğunu mu gösterir? Bu ders, bu iki soruyu birlikte ele alıyor.

Kavram

Öğretmenlerin etkisini ölçmenin standart aracı şudur.

Öğretmenleri değerlendirmenin geleneksel ölçütleri şudur.

Gürültülü ölçümleri düzeltmenin bir yolu şudur.

Bir modelin varsayımlarını sınamanın bir yolu şudur.

Öğretmen değerlendirmelerinin kamuoyuyla paylaşılmasının adı şudur.

Öğretmenleri ödüllendirmenin tartışmalı bir yolu şudur.

Veri ve kanıt

Bu bulgu, öğretmen katma değerinin yalnızca test puanlarıyla sınırlı olmayan, öğrencilerin hayatına uzanan sonuçlarla ilişkili olduğunu gösterir. Katma değer ölçümlerine yöneltilen temel eleştirilerden biri, bunların yalnızca sınava hazırlama becerisini ölçtüğü ve öğrencilerin gerçek gelişimini yansıtmadığıydı. Chetty ve arkadaşlarının bulgusu, en azından ortalamada, yüksek katma değerli öğretmenlerin öğrencilerinin yetişkinlikte daha iyi durumda olduğunu gösterir. Sınıf başına 250.000 dolarlık hesap ise, öğretmen kalitesindeki farkların toplumsal değerinin ne kadar büyük olabileceğini gösterir; bu değer, bir öğretmenin yıllık maaşının birkaç katıdır.

Bu bulgu, Chetty ve arkadaşlarının çalışmasının yanıt vermeye çalıştığı eleştirinin özüdür. Rothstein'ın testi zekice basittir: beşinci sınıf öğretmeni, öğrencilerin dördüncü sınıftaki öğrenmesini etkileyemez. Bir model, beşinci sınıf öğretmeninin dördüncü sınıftaki puan artışlarıyla ilişkili olduğunu buluyorsa, bu ilişki öğretmenin etkisinden değil, öğrencilerin sınıflara nasıl dağıtıldığından kaynaklanıyor demektir: örneğin dördüncü sınıfta hızlı ilerleyen öğrenciler, beşinci sınıfta belirli öğretmenlere veriliyor olabilir. Bu durumda, modelin öğretmenlere atfettiği etkilerin bir kısmı, aslında öğrencilerin seçilimidir. Chetty ve arkadaşları, aynı dizinin ilk makalesinde, öğrencilerin önceki puanlarını hesaba katan katma değer modellerinin yanlılık içermediğini savunarak bu eleştiriye cevap verdi; tartışma, katma değer ölçümlerinin hangi koşullarda ne kadar güvenilir olduğu üzerine sürmektedir.

Neden önemli?

Öğretmenler, eğitim sistemlerinin en büyük harcama kalemi ve öğrenmenin en önemli okul içi girdisidir. Öğretmen kalitesindeki farkların öğrencilerin hayatına uzanan etkileri varsa, iyi öğretmenleri mesleğe çekmek, onları geliştirmek ve meslekte tutmak, eğitim politikasının en önemli önceliklerinden biri olmalıdır. Bu, öğretmen yetiştirme, atama, ücret ve değerlendirme sistemlerinin nasıl tasarlanacağı sorusunu gündeme getirir.

Ama öğretmen kalitesini ölçmek zordur ve yanlış ölçümlere dayanan kararlar, iyi öğretmenleri cezalandırabilir, kötü öğretmenleri ödüllendirebilir ve öğretmenleri yalnızca ölçülen sonuçlara odaklanmaya yöneltebilir. Türkiye'de de öğretmen atamalarının sınavlarla yapılması, öğretmenlerin kariyer basamakları ve performans değerlendirmesi, sık sık tartışılan konulardır. Bu ders, bu tartışmalarda ölçümün gücünü ve sınırlarını birlikte değerlendirmenin araçlarını veriyor.

Model

Bu bölümde hesap tek bir sınıftan başlıyor: önce bir öğretmenin katma değerini öğrencilerinin puan artışlarından hesaplayacak, sonra ölçüm gürültüsünü, büzülme tahminini, ortalamaya dönüşü, yanlışlama testinin mantığını, öğretmen farklarının yaşam boyu kazanca yansımasını, sınıf mevcuduyla karşılaştırmayı ve ücret teşviklerini sayılarla göreceğiz. Chetty, Friedman ve Rockoff'un sınıf başına 250.000 dolarlık tahmini gerçektir; öğrenci puanları, öğretmen sayıları, varyanslar, maaşlar ve oranlar ise mekanizmayı görünür kılmak üzere kurgulanmış örnek değerlerdir.

Çözümlü örnek — Beklenen puan ve gerçekleşen puan

Bir dördüncü sınıf öğretmeninin sınıfında 25 öğrenci var. Bölgenin verilerine göre, bir öğrencinin yıl sonu puanı, geçen yılki puanının 0,8 katına 20 puan eklenerek tahmin ediliyor. Geçen yıl 50 puan alan bir öğrencinin beklenen puanı 0,8 × 50 + 20 = 60'tır; 70 puan alan bir öğrencininki 0,8 × 70 + 20 = 76'dır.

Sınıftaki her öğrenci için gerçekleşen puandan beklenen puan çıkarılır; bu farka artık denir. Geçen yıl 50 alan öğrenci bu yıl 64 aldıysa artığı +4'tür; 70 alan öğrenci 74 aldıysa artığı −2'dir. Öğretmenin katma değeri, sınıftaki 25 öğrencinin artıklarının ortalamasıdır. Bu ortalama +3 çıkarsa, öğretmenin öğrencileri, geçen yılki puanları hesaba katıldığında, beklenenden ortalama 3 puan fazla almış demektir.

Bu hesabın gücü, öğretmenleri öğrencilerin ham puanlarıyla değil, öğrencilerin başlangıç noktasına göre ilerlemeleriyle karşılaştırmasıdır. Zayıf öğrencilerle başlayan bir öğretmen, sınıfının ortalaması düşük olsa bile yüksek katma değer alabilir.

Çözümlü örnek — Gürültü nereden gelir?

Aynı öğretmenin gerçek katma değeri +3 olsun. Ama her öğrencinin artığı, öğretmenden bağımsız nedenlerle de dalgalanır: sınav günü hasta olmak, evde yaşanan bir sorun, şanslı bir tahmin. Bu dalgalanmanın standart sapması öğrenci başına 15 puan olsun.

25 öğrencinin ortalamasının standart hatası 15 / √25 = 3 puandır. Bu, öğretmenin tek bir yıldaki ölçülen katma değerinin, gerçek değeri +3 olsa bile, kabaca 0 ile +6 arasında kolayca gidip gelebileceği anlamına gelir. Öğretmenin üç yıllık verisi, yani 75 öğrencisi kullanılırsa, standart hata 15 / √75 ≈ 1,7'ye düşer.

Bu hesap, tek bir yılın katma değer puanına dayanarak bir öğretmen hakkında karar vermenin neden riskli olduğunu gösterir: ölçülen farkın önemli bir kısmı öğretmenden değil, o yıl sınıfa düşen öğrencilerin şansından gelir.

Çözümlü örnek — Büzülme: Bayes kuralı uygulamada

Bir bölgedeki öğretmenlerin gerçek katma değerlerinin varyansı 9 olsun, yani standart sapması 3 puan. Yukarıdaki öğretmenin bir yıllık ölçümünün gürültü varyansı ise 3² = 9'dur. Büzülme tahmini, ölçülen değeri genel ortalamaya, yani sıfıra, şu katsayıyla çeker: gerçek varyans / (gerçek varyans + gürültü varyansı) = 9 / (9 + 9) = 0,5.

Öğretmenin ölçülen katma değeri +6 ise, büzülme tahmini 0,5 × 6 = +3 olur. Üç yıllık verisi olan bir öğretmenin gürültü varyansı 1,7² ≈ 3'tür; katsayı 9 / (9 + 3) = 0,75 olur ve ölçülen +6, +4,5'e çekilir.

Mantık, Bayes kuralıyla aynıdır: elimizdeki ölçüm ne kadar gürültülüyse, ona o kadar az, genel ortalamaya o kadar çok güveniriz. Az öğrencisi olan ya da yeni başlamış bir öğretmenin aşırı uç görünen puanları, büzülme sayesinde ılımlılaşır; böylece şans eseri uç değer alan öğretmenler haksız yere ödüllendirilmez ya da cezalandırılmaz.

Çözümlü örnek — Ortalamaya dönüş ve gazete puanları

Bir gazete, öğretmenleri bir yıllık katma değerlerine göre sıralayıp en alttaki dilimi açıklasın. Bu dilimdeki öğretmenlerin ölçülen ortalaması −6, ama yukarıdaki büzülme katsayısıyla gerçek değerlerinin beklentisi yalnızca 0,5 × (−6) = −3 olsun.

Ertesi yıl bu öğretmenler hiçbir şeyi değiştirmeseler bile, ölçülen ortalamaları kabaca gerçek değerlerine, yani −3'e döner. Puanları 3 puan «iyileşmiş» görünür. Bu iyileşme, ortalamaya dönüştür; öğretmenlerin davranışından değil, ilk yılki ölçümdeki kötü şansın tekrarlanmamasından gelir.

Pope'un çalışmasının dikkatli tarafı buradadır: düşük puanlı öğretmenlerin öğrencilerindeki artışı, puanların açıklanma zamanlamasından yararlanarak ortalamaya dönüşten ayırmaya çalıştı. Bu ayrım yapılmazsa, açıklamanın öğretmenleri harekete geçirdiğine dair her bulgu, aslında istatistiksel bir yanılsama olabilir.

Çözümlü örnek — Gelecek yılın öğretmeni testi

Bir okulda iki beşinci sınıf öğretmeni var: A ve B. Model, A'nın katma değerini +4, B'ninkini −4 buluyor. Rothstein'ın yanlışlama testi, aynı modeli bir yıl geriye uygular: bu öğrencilerin dördüncü sınıftaki puan artışlarını, beşinci sınıfta hangi öğretmene gideceklerine göre karşılaştırır.

Beşinci sınıf öğretmeni dördüncü sınıftaki öğrenmeyi etkileyemez; bu yüzden A'ya gidecek öğrencilerin dördüncü sınıftaki artışı, B'ye gidecek öğrencilerinkiyle aynı olmalıdır. Diyelim ki A'ya gidecek öğrenciler dördüncü sınıfta beklenenden ortalama 2 puan fazla, B'ye gidecekler 2 puan az ilerlemiş. Bu 4 puanlık fark, okulun hızlı ilerleyen öğrencileri A'ya verdiğini gösterir.

Bu durumda A'nın +4'lük katma değerinin bir kısmı, kendi etkisi değil, öğrenci seçiminin izi olabilir. Ders şudur: bir model, mümkün olmayan bir etki buluyorsa, mümkün olan etkileri de yanlış ölçüyor olabilir.

Çözümlü örnek — Sınıf başına yaşam boyu kazanç

Chetty, Friedman ve Rockoff, katma değeri en alttaki yüzde 5'te olan bir öğretmenin yerine ortalama bir öğretmen getirmenin, öğrencilerin yaşam boyu gelirinin bugünkü değerini sınıf başına yaklaşık 250.000 dolar artıracağını hesapladı. Sınıfta 28 öğrenci olduğunu varsayarsak, bu öğrenci başına yaklaşık 250.000 / 28 ≈ 8.900 dolardır.

Bu miktar bir öğrencinin bütün çalışma hayatına yayılır ve her yıl küçük bir artış olarak gelir. Ama öğretmen yalnızca bir sınıfı değil, kariyeri boyunca yüzlerce öğrenciyi okutur. Değiştirilen öğretmenin yerine gelen ortalama öğretmen on yıl görev yaparsa, bu etki on sınıfa yayılır ve toplam değer, varsayım olarak, 2,5 milyon dolar düzeyine çıkar.

Bu hesap, öğretmen seçimini ve değerlendirmesini iyileştirmenin neden bu kadar büyük bir değer taşıyabileceğini gösterir. Ama hesap, en alttaki öğretmenlerin doğru tespit edildiğini ve yerlerine gelecek öğretmenlerin gerçekten ortalama olacağını varsayar; ikisi de garanti değildir.

Çözümlü örnek — Yanlış öğretmeni çıkarmak

Bir bölgede 1.000 öğretmen var ve gerçekten en düşük katma değerli 50 öğretmen, yani yüzde 5, belirlenmek isteniyor. Ölçüm gürültülü olduğu için, en düşük ölçülen 50 öğretmenin yalnızca bir kısmı, varsayım olarak 25'i, gerçekten en alttaki yüzde 5'tedir; geri kalan 25'i, şanssız bir yıl geçirmiş ortalamaya yakın öğretmenlerdir.

Bu 50 öğretmen görevden alınırsa, sınıf başına beklenen kazanç 250.000 dolar değil, kabaca yarısı olur, çünkü çıkarılanların yarısı zaten ortalamaya yakındır. Üstelik ortalamaya yakın 25 öğretmen haksız yere işini kaybeder ve bu, mesleğin çekiciliğini azaltabilir.

Birkaç yıllık veri ve büzülme, bu hatayı azaltır; ama sıfırlamaz. Katma değeri öğretmenleri görevden almak için kullanmanın değeri, ölçümün doğruluğuna ve haksız yere çıkarılanların maliyetine bağlıdır.

Çözümlü örnek — Sınıf mevcudu mu, öğretmen mi?

Rivkin, Hanushek ve Kain, sınıf mevcudunu on öğrenci azaltmanın, öğretmen kalitesinde bir standart sapma yukarı çıkmaktan daha küçük bir etkisi olduğunu buldu. Bunun maliyet tarafını basit bir hesapla görelim.

30 kişilik sınıfları 20 kişiye indirmek, öğretmen sayısını yüzde 50 artırır. Her öğretmen yılda 720.000 liraya mal oluyorsa, altmış bin öğrencinin okuduğu bir ilde 2.000 olan öğretmen kadrosu 3.000'e çıkar ve yıllık ek maliyet 720 milyon lira olur. Aynı paranın bir kısmı, öğretmen seçimini iyileştirmeye, yetersiz öğretmenlerin mesleki gelişimine ya da iyi öğretmenleri zor okullarda tutmaya harcanabilir.

Bu, sınıf mevcudunun önemsiz olduğu anlamına gelmez: önceki dersteki Tennessee deneyi, küçük sınıfların özellikle dezavantajlı öğrenciler için etkili olduğunu gösterdi. Ama sınıfları küçültmek, çok sayıda yeni öğretmen işe almayı gerektirir; yeni öğretmenler ortalama olarak eskilerden daha zayıfsa, öğretmen kalitesindeki düşüş sınıf küçültmenin kazancının bir kısmını yok edebilir.

Çözümlü örnek — Deneyim ve diploma ne kadar açıklar?

Bir bölgede öğretmenlerin maaşı, deneyim yılına ve yüksek lisans diplomasına göre belirleniyor. Bölgenin verilerinde, öğretmenlerin katma değerindeki farkların gözlenebilir özelliklerle ne kadar açıklandığı inceleniyor. Varsayım olarak, ilk birkaç yıllık deneyim katma değeri belirgin biçimde artırıyor, ama beşinci yıldan sonra deneyimle katma değer arasındaki ilişki zayıflıyor; yüksek lisans diploması ise katma değerle neredeyse hiç ilişkili değil.

Bu bulgu, Rivkin, Hanushek ve Kain'in vardığı sonuçla uyumludur: öğretmen kalitesindeki farkların ancak küçük bir kısmı eğitim ya da deneyim gibi gözlenebilir özelliklerle açıklanır. Bu durumda, maaşları yalnızca deneyime ve diplomaya bağlayan bir sistem, öğretmen kalitesini ödüllendirmekten çok, kıdemi ve belgeyi ödüllendirir.

Ama bu, deneyimin ve eğitimin önemsiz olduğu anlamına gelmez: deneyim, ilk yıllarda önemlidir ve iyi tasarlanmış bir öğretmen eğitimi, ölçülemeyen becerileri geliştirebilir. Sorun, bu özelliklerin tek başına iyi bir öğretmeni kötüsünden ayırmaya yetmemesidir.

Çözümlü örnek — Performansa dayalı ücretin iki yüzü

Bir bölge, katma değeri en üstteki yüzde 20'de olan öğretmenlere yıllık 60.000 lira ikramiye vermeyi düşünüyor. Bölgede 1.000 öğretmen varsa, ikramiyenin yıllık maliyeti 200 × 60.000 = 12 milyon liradır.

İkramiyenin iki olası etkisi vardır. Birincisi, öğretmenlerin çabasını ve yöntemlerini değiştirmeleri: ölçülen sonuçlar gerçek öğrenmeyi yansıtıyorsa, bu öğrencilere fayda sağlar. İkincisi, mesleğe kimin girdiği ve kimin kaldığı: iyi öğretmenlerin meslekte kalması ve mesleğin yetenekli adaylar için daha çekici hâle gelmesi, uzun dönemde daha büyük bir etki yaratabilir.

Ama ikramiye, öğretmenleri sınava yönelik öğretime, ölçülmeyen konuları ihmal etmeye ya da en zor öğrencileri sınıflarından uzak tutmaya da yöneltebilir. Gürültülü ölçümler, ikramiyeyi şansa bağlı bir piyangoya çevirebilir ve öğretmenler arasındaki iş birliğini zayıflatabilir. Performansa dayalı ücretin değeri, ölçümün doğruluğuna, ödülün büyüklüğüne ve öğretmenlerin ölçümü nasıl yönlendirebildiğine bağlıdır.

Çözümlü örnek — Etki ne kadar sürer?

Thomas Kane ve Douglas Staiger, Los Angeles'ta öğretmenlerin sınıflara rastgele dağıtıldığı bir deneyde, deney öncesindeki verilerden tahmin edilen öğretmen etkilerinin, rastgele dağıtımdan sonraki öğrenci başarısını önemli ölçüde öngördüğünü buldu; önceki puanları hesaba katan tahminler yanlılık içermeyen öngörüler veriyordu. Aynı çalışmada, öğretmen etkilerinin atamadan sonraki iki yılda yılda kabaca yüzde 50 sönümlendiği görüldü.

Bir öğretmenin öğrencilerine bir yılda 4 puan kattığını varsayalım. Yüzde 50'lik sönümlenmeyle, bu kazanç bir yıl sonra 2, iki yıl sonra 1 puana iner. Önceki dersteki birikimli öğrenme hesabında yıllık yüzde 70'lik bir korunma varsaymıştık; burada korunma oranı daha düşüktür.

Bu, ilginç bir soruyu gündeme getirir: test puanlarındaki kazanç birkaç yılda büyük ölçüde kayboluyorsa, öğretmenin öğrencilerin yetişkinliğine etkisi nereden gelir? Olası bir cevap, iyi bir öğretmenin test puanlarında görünmeyen, alışkanlık ve davranış gibi becerileri de geliştirmesidir; ama bu, bu dersteki kaynakların doğrudan ölçtüğü bir şey değildir ve tartışma sürmektedir.

Modelin sınırları

Bu dersteki hesaplar, öğretmen katma değerinin mantığını göstermek için basitleştirilmiştir. Gerçek katma değer modelleri, öğrencilerin önceki puanlarının yanı sıra aile özelliklerini, sınıfın bileşimini ve okul etkilerini de hesaba katar; ölçüm gürültüsü, varyanslar ve büzülme katsayıları her bölgede farklıdır. Katma değer, öğretmenin yalnızca test puanlarına yansıyan katkısını ölçer; öğrencilerin özgüvenine, merakına, sosyal becerilerine ve davranışlarına katkısı çoğu zaman sınav kâğıdına yansımaz.

Chetty ile arkadaşlarının ve Rothstein'ın çalışmaları ABD'nin belirli bölgelerine aittir; öğrencilerin sınıflara dağıtılma biçimi, sınavların yapısı ve öğretmen piyasası başka ülkelerde farklıdır. Türkiye gibi öğretmenlerin merkezi sınavla atandığı ve öğretmen ücretlerinin kademe ve dereceye göre belirlendiği sistemlerde, katma değer ölçümlerinin nasıl kullanılabileceği ayrı bir sorudur.

Uygulama

Özet kartı

1. Öğretmen katma değeri, bir öğretmenin öğrencilerinin test puanlarında, önceki puanları hesaba katıldıktan sonra beklenenin üzerinde ya da altında gerçekleşen ortalama artıştır. Öğretmenleri ham puanlarla değil, öğrencilerin başlangıç noktasına göre ilerlemeleriyle karşılaştırır.
2. Tek bir yılın katma değeri gürültülüdür; ölçülen farkın önemli bir kısmı o yıl sınıfa düşen öğrencilerin şansından gelir. Büzülme tahmini, Bayes kuralıyla gürültülü ölçümleri genel ortalamaya çeker; uç puanların bir kısmının ertesi yıl kendiliğinden düzelmesi ortalamaya dönüştür.
3. Chetty, Friedman ve Rockoff, bir milyondan fazla çocuğun kayıtlarıyla, yüksek katma değerli öğretmenlere verilen öğrencilerin üniversiteye gitme olasılığının daha yüksek olduğunu, daha yüksek maaşlar kazandıklarını ve ergenlikte çocuk sahibi olma olasılıklarının daha düşük olduğunu buldu; en alttaki yüzde 5'lik bir öğretmenin yerine ortalama bir öğretmen getirmek, sınıf başına yaklaşık 250.000 dolarlık yaşam boyu gelir yaratır.
4. Rothstein, gelecek yılın öğretmeninin bu yılın öğrenmesini etkileyemeyeceği fikrine dayanan yanlışlama testleriyle, Kuzey Carolina verilerinde yaygın katma değer modellerinin varsayımlarının çarpıcı biçimde ihlal edildiğini, katma değerin hızlı sönümlendiğini ve uzun dönemli etkilerle zayıf ilişkili olduğunu buldu.
5. Öğretmen kalitesindeki farkların ancak küçük bir kısmı deneyim ve diploma gibi gözlenebilir özelliklerle açıklanır. Kamuya açık puanlar ve performansa dayalı ücret çabayı artırabilir; ama gürültülü ölçümler, sınava yönelik öğretim ve haksız kararlar gibi riskler taşır.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Öğretmen katma değeri ile bir öğretmenin sınıfının ortalama puanı arasındaki farkı açıkla. Hangisi öğretmenin katkısının daha iyi bir ölçüsüdür, neden?
2. (Çıktı 2) Rothstein'ın yanlışlama testinin mantığını açıkla. Beşinci sınıf öğretmenlerinin dördüncü sınıftaki puan artışlarıyla ilişkili çıkması neyi gösterir?
3. (Çıktı 3) Bir öğrencinin beklenen puanı, geçen yılki puanının 0,8 katına 20 eklenerek bulunuyor. Geçen yıl 60 alan bir öğrenci bu yıl 72 aldı. Beklenen puanı ve artığı nedir?
4. (Çıktı 3) Öğretmenlerin gerçek katma değerlerinin varyansı 9, bir öğretmenin ölçümünün gürültü varyansı 18'dir. Büzülme katsayısı nedir? Ölçülen katma değeri +6 olan öğretmenin büzülme tahmini kaç puandır?
5. (Çıktı 4) Chetty, Friedman ile Rockoff'un ve Rothstein'ın bulguları birbiriyle çelişiyor mu? İkisini birlikte değerlendir.
6. (Çıktı 4) Bir siyasetçi, «Öğretmenleri sınav sonuçlarına göre sıralayalım, en alttaki yüzde 5'i her yıl görevden alalım» diyor. Dersteki bulgular ve hesaplarla bu öneriyi tart.

Cevaplar

1. Bir sınıfın ortalama puanı, öğretmenin etkisinin yanında öğrencilerin sınıfa gelirken sahip olduğu bilgi ve beceriyi, aile arka planını ve önceki öğretmenlerin katkısını da yansıtır. Katma değer ise öğrencilerin önceki puanlarını hesaba katarak, o yıl beklenenin üzerinde ya da altında gerçekleşen artışı ölçer. Bu yüzden öğretmenin katkısının daha iyi bir ölçüsüdür: zayıf öğrencilerle başlayan bir öğretmen, sınıf ortalaması düşük olsa bile yüksek katma değer alabilir.
2. Bir öğrencinin gelecek yılki öğretmeni, bu yılki öğrenmesini etkileyemez. Bu yüzden, doğru bir modelde, beşinci sınıf öğretmenlerinin dördüncü sınıftaki puan artışlarıyla ilişkisi sıfır çıkmalıdır. Bu ilişki sıfırdan farklı çıkıyorsa, öğrencilerin sınıflara rastgele dağıtılmadığı, örneğin dördüncü sınıfta hızlı ilerleyenlerin beşinci sınıfta belirli öğretmenlere verildiği anlaşılır. Bu durumda modelin öğretmenlere atfettiği etkilerin bir kısmı, öğretmenden değil öğrenci seçiminden gelir.
3. Beklenen puan 0,8 × 60 + 20 = 68'dir. Artık 72 − 68 = +4 puandır.
4. Büzülme katsayısı 9 / (9 + 18) = 1/3'tür. Büzülme tahmini 6 × 1/3 = +2 puandır.
5. İki çalışma aynı sorunun iki yüzüne bakar. Rothstein, yaygın katma değer modellerinin, öğrencilerin sınıflara rastgele dağıtılmadığı durumlarda varsayımlarının ihlal edildiğini ve öğretmen etkilerinin hızla sönümlendiğini gösterdi. Chetty, Friedman ve Rockoff ise, önceki puanları hesaba katan katma değer modellerinin yanlılık içermediğini savundu ve yüksek katma değerli öğretmenlerin öğrencilerinin yetişkinlikte daha iyi durumda olduğunu buldu. Birlikte okunduklarında, katma değerin öğretmen kalitesine dair gerçek bir bilgi taşıyabileceğini, ama bu bilginin ne kadar güvenilir olduğunun öğrencilerin sınıflara nasıl dağıtıldığına, kullanılan modele ve verinin kaç yılı kapsadığına bağlı olduğunu gösterirler.
6. Öneri, ölçümün doğru olduğunu ve en alttaki öğretmenlerin yerine gelecek öğretmenlerin ortalama olacağını varsayıyor. Dersteki hesaplar, tek bir yılın puanının gürültülü olduğunu, en düşük ölçülen öğretmenlerin önemli bir kısmının şanssız bir yıl geçirmiş ortalamaya yakın öğretmenler olabileceğini ve bu yüzden kazancın beklenenden küçük, haksız kararların ise çok olacağını gösterdi. Rothstein'ın testleri, öğrenci dağılımının ölçümü bozabileceğini de gösterir. Öte yandan Chetty ve arkadaşlarının bulgusu, öğretmen kalitesindeki farkların gerçek ve büyük olduğunu gösterir. Daha savunulabilir bir yaklaşım, birkaç yıllık veriye ve büzülmeye dayanan, katma değeri gözlem gibi başka ölçütlerle birleştiren ve görevden almaktan önce destek ve gelişimi deneyen bir sistemdir; görevden almanın haksızlığı ve mesleğin çekiciliğine etkisi de hesaba katılmalıdır.

İleri okuma

• Steven G. Rivkin, Eric A. Hanushek, John F. Kain (2005). «Teachers, Schools, and Academic Achievement». Econometrica 73(2). Öğretmen kalitesinin başarıya etkisi ve gözlenebilir özelliklerin sınırlı açıklayıcılığı.
• Raj Chetty, John N. Friedman, Jonah E. Rockoff (2014). «Measuring the Impacts of Teachers I: Evaluating Bias in Teacher Value-Added Estimates». American Economic Review 104(9). Katma değer tahminlerindeki yanlılığın sınanması.
• Nolan G. Pope (2019). «The Effect of Teacher Ratings on Teacher Performance». Journal of Public Economics 172. Los Angeles'ta kamuya açıklanan öğretmen puanlarının öğretmen performansına etkisi.
• Thomas J. Kane, Douglas O. Staiger (2008). «Estimating Teacher Impacts on Student Achievement: An Experimental Evaluation». NBER Çalışma Tebliği 14607. Katma değer tahminlerinin öğrencilerin öğretmenlere rastgele dağıtıldığı bir deneyle sınanması.

Sonraki derse köprü

Bu derste öğretmenlerin öğrencilerin öğrenmesi üzerindeki etkisini ve bu etkiyi ölçmenin güçlüğünü gördük; Rothstein'ın testinde, öğrencilerin sınıflara nasıl dağıtıldığının ölçümü ne kadar değiştirebildiğini fark ettik. Aynı soru okullar düzeyinde de sorulur: aileler okulları seçebildiğinde, okullar öğrenci için birbiriyle rekabet etmeye başlar mı? Okul seçimi, okul kuponları ve kamu kaynağıyla işleyen bağımsız yönetimli okullar, öğrencilerin öğrenmesini artırır mı, yoksa öğrencileri ailelerin geliri ve bilgisine göre okullar arasında ayırıp akran etkilerini derinleştirir mi? Sıradaki ders okul seçimini ve rekabeti ele alıyor.