Uluslararası sınavlar ve Türkiye

Öğrenme çıktıları

• Hatırlama — Uluslararası öğrenci değerlendirmesini, düşük riskli sınavı, temel yeterlilik düzeyini, bilgi sermayesini, dirençli öğrenciyi ve ortak ölçeği tanımlar.
• Anlama — Uluslararası sınavların neyi ölçtüğünü ve neyi ölçemediğini, bir ülkenin sıralamasındaki değişimin neden puanındaki değişimle aynı şey olmadığını ve sınav sonuçlarının ekonomik büyümeyle nasıl ilişkilendirildiğini açıklar.
• Uygulama — Türkiye'nin PISA 2022 sonuçlarını ortalama, yeterlilik payları, sosyoekonomik farklar ve kapsama oranı bakımından okur; puan farklarını standart sapmaya çevirir, kapsama dışında kalan gençlerin ortalamaya olası etkisini ve sınava gösterilen çabanın sıralamaya etkisini sayısal örneklerle hesaplar.
• Değerlendirme — Hanushek ile Woessmann'ın bilişsel becerilerin büyümeye nedensel etkisine dair bulgularını ve Gneezy ile arkadaşlarının düşük riskli sınavlarda çabanın ülke karşılaştırmalarını bozabileceğine dair bulgularını karşılaştırarak, uluslararası sınav sonuçlarının eğitim politikasında nasıl kullanılması gerektiğini tartar.

Sezgi

Açılış

Her üç yılda bir, aralık ayının ilk haftasında, dünyanın birçok ülkesinde gazeteler aynı türden manşetler atar: «Matematikte kaçıncıyız?» Bir ülke sıralamada birkaç basamak yükselmişse eğitim bakanlığı başarıyı duyurur, düşmüşse muhalefet eğitim sisteminin çöktüğünü söyler. Birkaç gün sonra tartışma diner ve üç yıl sonra yeniden başlar.

Bu manşetlerin arkasında, on beş yaşındaki öğrencilerin iki saatlik bir sınavda verdiği cevaplar vardır. Bu cevaplardan bir ülkenin eğitim sistemi hakkında ne kadar şey öğrenilebilir? Bir sıralama, sınıflarda gerçekten öğrenilenleri mi gösterir, yoksa hangi öğrencilerin sınava girdiğini, sınavı ne kadar ciddiye aldıklarını ve kaç ülkenin katıldığını mı?

Bu dersle eğitim ekonomisi dizisini kapatıyoruz. Önceki derslerde eğitimin getirisini, okul girdilerini, öğretmenleri, okul seçimini, fırsat eşitsizliğini ve yükseköğretimin finansmanını inceledik. Hepsinin arkasında bir varsayım vardı: öğrenmeyi ölçebildiğimiz. Dizinin son durağı, bu varsayımın en geniş ölçekte sınandığı yer: ülkeleri yan yana koyan sınavlar ve Türkiye'nin yirmi yıllık karnesi.

Hikâye — Bir ülkenin yirmi yılı

Türkiye, OECD'nin on beş yaşındaki öğrencileri değerlendiren PISA araştırmasına ilk kez 2003'te katıldı. O günden bu yana her turda, Türkiye'nin sonuçları kamuoyunda geniş yer buldu. Sonuçlar inişli çıkışlıydı ve her tur, eğitim sistemine dair yeni bir tartışma başlattı.

2022 turunun sonuçları, aralık 2023'te açıklandı. Türkiye, 81 ülke ve ekonomi arasında matematikte 453 puanla 39., fende 476 puanla 34., okumada 456 puanla 36. oldu; 2018'de, 79 ülke arasında matematikte 42., fende 39., okumada 40. sıradaydı. OECD ortalaması matematikte 472, fende 485, okumada 476 puandı. Sıralamadaki yükseliş geniş yankı buldu.

OECD'nin Türkiye için hazırladığı bilgi notu ise daha ayrıntılı bir tablo çiziyordu. Türkiye'nin 2022 ortalaması matematikte 2018'le yaklaşık aynı, okumada daha düşük, fende daha yüksekti. Matematik ve fen sonuçları PISA'nın Türkiye'de ölçtüğü en yüksek sonuçlar arasındaydı ve Türkiye, on yıldan uzun bir dönemde sonuçları çoğu alanda iyileşen az sayıdaki ülkeden biriydi. Ama 2012'ye göre, okumada temel yeterlilik düzeyinin altında kalan öğrencilerin payı yedi yüzde puanı artmıştı.

Not başka bir ayrıntıya da dikkat çekiyordu: Türkiye'de sınava 196 okuldan 7.250 öğrenci girmişti ve bu öğrenciler, yaklaşık 933.400 on beş yaşındaki öğrenciyi temsil ediyordu. Bu sayı, on beş yaşındaki bütün nüfusun tahminen yüzde 74'üydü. Kalan dörtte birlik kesim, okulda olmadığı ya da başka nedenlerle örneklem çerçevesine girmediği için ölçülmemişti.

Bu hikâye, uluslararası sınavları okurken sorulması gereken üç soruyu birlikte taşır: puan mı değişti, sıra mı? Ortalama mı değişti, dağılım mı? Ve ölçülen öğrenciler kimdi?

Kavram

Bu dersin incelediği araç şudur.

Bu sınavların temel bir özelliği şudur.

Ortalamanın ötesine bakmanın bir yolu şudur.

Sınav sonuçlarını ekonomiye bağlayan kavram şudur.

Dezavantajlı öğrenciler arasındaki başarının adı şudur.

Farklı sınavları ve yılları karşılaştırmanın ön koşulu şudur.

Veri ve kanıt

Bu bulgu, uluslararası sınavların neden bu kadar önemsendiğini açıklar: sınav puanları yalnızca okulların başarısını değil, bir ülkenin gelecekteki büyüme potansiyelini de gösteriyor olabilir. Göçmen karşılaştırması özellikle güçlüdür: aynı ABD iş piyasasında çalışan göçmenlerden, kendi ülkesinde okuyanların kazancı o ülkenin sınav başarısıyla ilişkiliyse, bu ilişki ülkenin kurumlarından ya da kültüründen değil, okulların kazandırdığı becerilerden geliyor olabilir. Ama ülkeler arası büyüme regresyonları, gözlemlenmeyen pek çok ülke özelliğinden etkilenebilir; yazarların nedensellik için sunduğu kanıtlar güçlü olsa da tartışma sürmektedir.

Bu bulgu, uluslararası sınavların temel bir zayıflığına işaret eder: sınavın öğrenci için hiçbir sonucu yoksa, bazı öğrenciler sınavı ciddiye almayabilir ve bu eğilim ülkeden ülkeye farklılaşabilir. Bu durumda iki ülkenin puanları arasındaki farkın bir kısmı, öğrencilerin bildiklerinden değil, sınava ne kadar özen gösterdiklerinden gelir. Bulgu Hanushek ile Woessmann'ın sonucunu geçersiz kılmaz; ama sınav puanlarını ve özellikle ülke sıralamalarını beceriyi doğrudan ölçen kesin sayılar olarak okumaya karşı uyarır. Sınava gösterilen çabanın kendisi de iş hayatında değerli bir özellik olabilir; bu durumda puanlar becerilerle birlikte çabayı da ölçüyor demektir.

Neden önemli?

Uluslararası sınavlar, eğitim politikasını en çok etkileyen verilerden biridir. Bir ülkenin sıralaması, eğitim reformlarını başlatabilir, siyasi tartışmaları biçimlendirebilir ve bütçe kararlarını etkileyebilir. Bu sınavlar, ülkelerin kendi eğitim sistemlerini başka ülkelerle karşılaştırmasının neredeyse tek yoludur. Ama bir ölçüm ne kadar önemli olursa, nasıl okunduğu da o kadar önemli olur.

Türkiye için bu sınavlar, eğitim sisteminin zaman içindeki değişimini ve dünyadaki yerini görmenin en kapsamlı aracıdır. Ama yalnızca sıralamaya bakmak, katılan ülke sayısının değişimini, ortalamanın gizlediği dağılımı, okul dışında kalan gençleri ve sosyoekonomik farkları gözden kaçırabilir. Sınav sonuçlarını doğru okumak, bir sıralama tablosundan çok daha fazlasını gerektirir.

Model

Uluslararası sınav sonuçlarını okumayı adım adım öğreneceğiz: sıra ile puanın farkından, puan farklarını standart sapmaya çevirmekten, kapsama oranından, yeterlilik paylarından, sosyoekonomik farklardan, dirençli öğrencilerden, sınava gösterilen çabadan, becerilerin büyümeye etkisinden ve harcama ile başarı ilişkisinden geçeceğiz. Türkiye'nin PISA 2022 sonuçları OECD'nin ve Millî Eğitim Bakanlığının açıklamalarından alınmıştır; ötekiler, örneğin okul dışındaki gençlerin varsayılan puanı ya da büyüme hesaplarındaki katsayılar, mekanizmayı izlenebilir kılmak için seçilmiş örnek değerlerdir.

Çözümlü örnek — Sıra yükseldi, puan değişmedi

Türkiye'nin matematik sıralaması 2018'de 79 ülke arasında 42.'likten, 2022'de 81 ülke arasında 39.'luğa yükseldi. OECD'nin bilgi notuna göre ise Türkiye'nin matematik ortalaması 2018 ile 2022 arasında yaklaşık aynıydı. Puan değişmeden sıra nasıl yükselir?

Sıra, yalnızca bir ülkenin puanına değil, öbür ülkelerin puanına ve katılan ülkelerin sayısına bağlıdır. 2018 ile 2022 arasında birçok ülkenin matematik ortalaması salgın döneminde düştü; Türkiye'nin ortalaması yerinde kalırken öbürlerinin düşmesi, Türkiye'yi sıralamada yukarı taşıdı. Katılımcı sayısı da değişti: yeni katılan ülkeler sıralamanın altına giriyorsa, bir ülkenin sırası değişmezken yüzdelik konumu iyileşmiş görünür.

Sırayı yüzdelik konuma çevirmek, katılımcı sayısının etkisini giderir. 79 ülke arasında 42. olmak, öbür ülkelerin yaklaşık yüzde 53'ünün önde olması demektir (41 / 78); 81 ülke arasında 39. olmak ise yüzde 47,5'inin (38 / 80). Türkiye'nin göreli konumu biraz iyileşmiştir; ama kendi puanı değişmediğine göre, bu iyileşme Türkiye'deki öğrenmenin artmasından değil, başka ülkelerin gerilemesinden gelir. Bir ülkenin eğitim sistemine dair asıl soru, sıradan çok kendi puanının zaman içinde nasıl değiştiğidir; sıra, başkalarının başına gelenleri de içinde taşır.

Çözümlü örnek — Puan farkını anlamlandırmak

PISA ölçeği, ilk kurulduğunda OECD ortalaması 500, standart sapması 100 olacak biçimde ayarlanmıştı. 2022'de Türkiye'nin matematik ortalaması 453, OECD ortalaması 472 puandı; fark 19 puandır. Standart sapma kabaca 100 alınırsa, bu fark 0,19 standart sapmaya karşılık gelir.

On dokuz puan çok mu, az mı? Ölçüt olarak ülke içindeki farkları kullanalım. Öğretmen dersinde, iyi bir öğretmenle ortalama bir öğretmen arasındaki farkın etkisini; fırsat eşitsizliği dersinde, varlıklı ve yoksul ailelerin çocukları arasındaki farkları standart sapma cinsinden ölçmüştük. Türkiye'de sosyoekonomik bakımdan en avantajlı dörtte birlik öğrenciler ile en dezavantajlı dörtte birlik öğrenciler arasındaki matematik farkı 82 puandı; bu, 0,82 standart sapmadır.

Bu karşılaştırma, ülke ortalamaları arasındaki farkların çoğu zaman ülke içindeki farklardan çok daha küçük olduğunu gösterir. Türkiye ile OECD ortalaması arasındaki fark, Türkiye'deki varlıklı ve yoksul öğrenciler arasındaki farkın dörtte birinden azdır.

Çözümlü örnek — Ölçülmeyen dörtte bir

PISA 2022'ye katılan öğrenciler, Türkiye'deki on beş yaşındaki nüfusun tahminen yüzde 74'ünü temsil ediyordu. Kalan yüzde 26, okulda olmadığı, başka bir sınıf düzeyinde bulunduğu ya da başka nedenlerle örneklem çerçevesinin dışında kaldığı için ölçülmedi.

Bu gençlerin sınava girselerdi kaç puan alacaklarını bilmiyoruz. Varsayım olarak ortalama 400 puan alacaklarını düşünelim. Bu durumda bütün on beş yaşındakilerin ortalaması 0,74 × 453 + 0,26 × 400 ≈ 439 olurdu; yani ölçülen ortalamanın yaklaşık 14 puan altında. Varsayılan puan 350 olsaydı, ortalama 0,74 × 453 + 0,26 × 350 ≈ 426'ya düşerdi.

Önceki derste gördüğümüz kapsama sorunu burada somutlaşır. Kapsama oranı ülkeden ülkeye ve yıldan yıla değişir. Kapsama oranı artan bir ülkede, daha önce ölçülmeyen ve muhtemelen daha düşük puan alacak gençler sınava girmeye başlar; bu, eğitim sistemi iyileşse bile ortalamayı aşağı çekebilir. Ülkeleri ya da yılları karşılaştırırken, kimin ölçüldüğünü de hesaba katmak gerekir.

Çözümlü örnek — Ortalama mı, eşik mi?

Türkiye'de öğrencilerin yüzde 61'i matematikte temel yeterlilik düzeyine ulaştı; OECD ortalaması yüzde 69'du. Başka bir deyişle, Türkiye'de on beş yaşındaki öğrencilerin yüzde 39'u matematikte asgari düzeyin altında kalıyordu. En üst düzeylere, beşinci ve altıncı düzeylere ulaşanların payı ise yüzde 5'ti; OECD ortalaması yüzde 9'du.

Ortalamalar, bu iki ucu gizleyebilir. İki ülke düşünelim: birinde öğrencilerin çoğu ortalamaya yakın, öbüründe öğrenciler bir yanda çok başarılı, öbür yanda çok geride iki gruba ayrılmış. İki ülkenin ortalaması aynı olabilir; ama ikincisinde asgari düzeyin altındaki öğrencilerin payı çok daha büyüktür.

Okumada Türkiye'de temel yeterlilik düzeyinin altında kalan öğrencilerin payı 2012'ye göre yedi yüzde puanı arttı. Okuma ortalamasının 2018'e göre düşmesiyle birlikte okunduğunda bu, okumada en geride kalan öğrencilerin sayısının arttığını gösterir. Bir eğitim politikası için, ortalamayı yükseltmek ile en geride kalanları asgari düzeye çıkarmak farklı hedeflerdir.

Çözümlü örnek — Sosyoekonomik farklar

PISA, öğrencilerin ailelerinin ekonomik, sosyal ve kültürel durumunu ölçen bir endeks kullanır. Türkiye'de bu endeks, 2022'de matematik puanlarındaki farkların yüzde 13'ünü açıklıyordu; OECD ortalaması yüzde 15'ti. Bu, önceki derste gördüğümüz fırsat eşitsizliği ölçüsünün bir türüdür: varyansın tek bir koşulla açıklanan payı.

Türkiye'de öğrencilerin yüzde 33'ü, uluslararası ölçekte sosyoekonomik bakımdan en dezavantajlı beşte birlik dilimdeydi. Bu öğrencilerin matematik ortalaması 424 puandı; OECD'ye göre bu, benzer arka plana sahip öğrenciler arasında en yüksek ortalamalardan biriydi. Ülke içinde ise en avantajlı ve en dezavantajlı dörtte birler arasındaki fark 82 puandı; OECD ortalaması 93 puandı ve bu fark 2012 ile 2022 arasında Türkiye'de istikrarlı kaldı.

Bu sayılar iki şekilde okunabilir. Bir yandan, Türkiye'de sosyoekonomik koşulların başarıyı açıklama payı OECD ortalamasının biraz altındadır. Öbür yandan, yüzde 13 bir alt sınırdır: tek bir endeks, öğrencilerin bütün koşullarını ölçmez ve sınava girmeyen yüzde 26'lık kesim hesaba katılmamıştır.

Çözümlü örnek — Dirençli öğrenciler

Türkiye'de sosyoekonomik bakımdan en dezavantajlı dörtte birdeki öğrencilerin yüzde 12'si, ülkedeki öğrenciler arasında matematikte en yüksek puanlı dörtte bire girdi; OECD ortalaması yüzde 10'du.

Koşullar başarıyı hiç etkilemeseydi, dezavantajlı öğrencilerin de yüzde 25'inin en yüksek dörtte bire girmesi beklenirdi. Yüzde 12, bu beklentinin yarısından azdır: dezavantajlı bir öğrencinin en başarılı gruba girme olasılığı, koşulların etkisiz olduğu bir dünyadakinin yaklaşık 0,12 / 0,25 ≈ 0,48'idir.

Bu hesap, aynı veriden iki farklı mesaj çıkabileceğini gösterir. OECD ortalamasıyla karşılaştırıldığında Türkiye'nin dirençli öğrenci payı daha yüksektir; ama koşulların hiç etkili olmadığı bir eşitlik ölçütüyle karşılaştırıldığında, dezavantajlı öğrencilerin şansı hâlâ yarıdan azdır.

Çözümlü örnek — Sınavı ciddiye almak

Gneezy ve arkadaşları, ABD'li öğrencilerin teşvik verildiğinde performanslarını önemli ölçüde artırdığını, Şanghaylı öğrencilerinkinin artmadığını buldu. Bunun bir sıralamayı nasıl değiştirebileceğini varsayımsal bir örnekle görelim.

A ve B ülkelerinin öğrencilerinin gerçek beceri düzeyleri aynı olsun: 480 puan. A'da öğrenciler sınavı ciddiye alıyor ve gerçek düzeylerini gösteriyor. B'de öğrencilerin bir kısmı sınavı önemsemiyor, son sorulara bakmadan geçiyor; bu, B'nin ölçülen ortalamasını 465'e indiriyor. İki ülke arasındaki 15 puanlık fark, beceriden değil çabadan gelir.

Pelin Akyol, Kala Krishna ve Jinwen Wang, PISA 2015'in bilgisayar tabanlı sınavındaki bilgilerden yararlanarak, sınavı ciddiye almayan davranışları belirleyip düzeltmeye çalıştılar. Toplam yanlılığın büyük olduğunu ve PISA'nın kendi düzeltme yaklaşımının bunun yalnızca yaklaşık yarısını giderdiğini buldular. Bu, ülkelerin sıralamalarının, öğrencilerin sınavı ne kadar ciddiye aldığına duyarlı olduğunu gösterir.

Çözümlü örnek — Beceriler ve büyüme

Hanushek ve Woessmann'ın bulgusu, bir ülkenin bilişsel becerilerindeki artışın büyüme patikasını yükseltebileceğini gösterir. Bunun uzun dönemde ne anlama geldiğini varsayımsal bir hesapla görelim.

Bir ülkenin kişi başına geliri yılda yüzde 2 büyüsün. Bir eğitim reformu, öğrencilerin becerilerini artırıyor ve bu öğrenciler işgücüne girdikçe, büyüme hızını kademeli olarak yılda 0,5 puan yükseltiyor. Basitleştirmek için, reformun etkisinin hemen başladığını varsayalım: kırk yıl sonra yüzde 2 büyümeyle gelir 1,02⁴⁰ ≈ 2,21 katına, yüzde 2,5 büyümeyle 1,025⁴⁰ ≈ 2,69 katına çıkar. Aradaki fark, kırk yıl sonraki gelirin yaklaşık yüzde 22'sidir.

Gerçekte reformun etkisi yavaş başlar: yeni öğrencilerin işgücüne girmesi ve işgücünün önemli bir kısmını oluşturması on yıllar alır. Ama hesap, küçük büyüme farklarının uzun dönemde büyük gelir farklarına dönüştüğünü ve uluslararası sınavlarda ölçülen becerilerin neden bu kadar önemsendiğini gösterir. Hanushek ve Woessmann ayrıca temel okuryazarlığa sahip olanların ve yüksek performans gösterenlerin paylarının büyümeyi birbirini tamamlayarak etkilediğini buldu: yalnızca en gerideki öğrencileri ya da yalnızca en başarılı öğrencileri hedefleyen bir politika, bu iki etkiden birini kaçırır.

Çözümlü örnek — Harcama ve başarı

OECD'ye göre, 6 ile 15 yaş arasında öğrenci başına toplam harcaması satın alma gücü paritesiyle 75.000 doların altında olan ülkeler arasında, daha yüksek harcama daha yüksek matematik puanlarıyla ilişkiliydi. Türkiye'de bu yaşlar arasındaki toplam öğrenci başına harcama yaklaşık 46.700 dolardı.

Bu, Türkiye'nin harcamanın başarıyla ilişkili olduğu aralıkta yer aldığı anlamına gelir. Varsayım olarak, bu aralıkta her 10.000 dolarlık ek harcamanın matematik ortalamasını 5 puan artırdığını düşünelim. Türkiye'nin harcaması 75.000 dolara çıksaydı, yaklaşık 28.300 dolarlık artış, bu varsayımla, 14 puanlık bir artışa karşılık gelirdi.

Ama bu hesap, ülkeler arası bir ilişkiye dayanır; nedensel bir etki değildir. Önceki derslerde gördüğümüz gibi, kaynakların etkisi nasıl kullanıldıklarına bağlıdır: aynı para öğretmen kalitesine, okul öncesi eğitime ya da binalara harcandığında farklı sonuçlar doğurabilir. OECD'ye göre Türkiye'de öğrencilerin yüzde 76'sı en az bir yıl okul öncesi eğitim almıştı; OECD ortalaması yüzde 94'tü. Bu fark, ek kaynağın nereye yönlendirilebileceğine dair bir ipucu verir.

Çözümlü örnek — Okumada kızlar, matematikte eşitlik

Türkiye'de 2022'de kızlar ve erkekler matematikte benzer düzeyde başarı gösterdi; okumada ise kızlar erkekleri 25 puan geride bıraktı. Okumada temel yeterlilik düzeyinin altında kalanların payı kızlarda yüzde 23, erkeklerde yüzde 35'ti. OECD'ye göre kızlar, PISA 2022'ye katılan 81 ülkenin ikisi dışında hepsinde okumada erkeklerden yüksek puan aldı.

Bu fark, ortalamaya bakan bir politikanın gözden kaçırabileceği bir alt grubu gösterir. Öğrencilerin yarısının erkek, yarısının kız olduğunu varsayarsak, erkeklerin payı yüzde 35, kızlarınki yüzde 23 olduğunda, bu düzeyin altındaki öğrencilerin yaklaşık 35 / (35 + 23) ≈ yüzde 60'ı erkektir.

Okuma becerisi öbür derslerin ve iş hayatının temelini oluşturduğu için, bu fark ileride erkeklerin eğitime devamını ve iş piyasası sonuçlarını da etkileyebilir. Ülke ortalamaları ve sıralamalar ise bu farkı tek bir sayının içinde gizler.

Çözümlü örnek — Ortak ölçek olmadan karşılaştırma

Bir ülke, iki farklı yılda iki farklı matematik sınavı uyguluyor. Birinci yıl öğrencilerin ortalaması 60, ikinci yıl 66 puan. Puanlar yüzde 10 artmış gibi görünür. Ama ikinci yılın sınavı daha kolaysa, artış öğrencilerden değil sorulardan gelebilir.

Uluslararası sınavlar bu sorunu, her turda bir önceki turdan bir dizi ortak soruyu yeniden kullanarak çözmeye çalışır. Diyelim ki iki sınavda ortak olan 20 soruda öğrenciler birinci yıl ortalama yüzde 50, ikinci yıl yüzde 52 doğru cevap verdi. Ortak sorulardaki küçük artış, ham puandaki büyük artışın büyük kısmının sınavın kolaylaşmasından geldiğini düşündürür. Ortak ölçek, ham puanları bu ortak sorulara göre ayarlayarak, iki yılı aynı cetvelle ölçmeye çalışır.

Bu yöntem kusursuz değildir: ortak sorular zamanla bilinir hâle gelebilir, sınav kâğıttan bilgisayara geçtiğinde aynı soru farklı zorlukta olabilir. Fırsat eşitsizliği dersinde gördüğümüz gibi, ölçek seçimi farkların büyüyüp küçüldüğüne dair sonucu bile değiştirebilir. Bir ülkenin puanındaki küçük değişimler, bu yüzden dikkatle okunmalıdır.

Modelin sınırları

Bu bölümdeki Türkiye verileri PISA 2022'ye aittir ve tek bir turun sonuçlarıdır; okul dışındaki gençlerin varsayılan puanları, büyüme ve harcama hesaplarındaki katsayılar ise hesabın işleyişini görünür kılmak üzere kurgulanmış sayılardır. PISA, on beş yaşındaki öğrencileri ve belirli becerileri ölçer; okulların kazandırdığı sosyal becerileri, değerleri, sanatsal ve mesleki becerileri ve öğrencilerin hayattan memnuniyetini ölçmez ya da ancak anketlerle sınırlı biçimde ölçer.

2022 turu, salgın nedeniyle bir yıl ertelenmişti ve okul kapanmalarının etkileri ülkeler arasında farklıydı. Bir turdan ötekine değişen kapsama oranları, katılımcı ülkeler ve sınav biçimi, karşılaştırmaları güçleştirir. Uluslararası sınavlar, bir eğitim sisteminin bütününü değil, önemli ama sınırlı bir kesitini gösterir.

Uygulama

Özet kartı

1. Uluslararası öğrenci değerlendirmeleri, farklı ülkelerdeki öğrencilerin becerilerini aynı sınavla ölçer. Sıralamalar, ülkenin kendi puanına olduğu kadar öbür ülkelerin puanlarına ve katılımcı sayısına da bağlıdır; bir ülkenin puanı değişmeden sırası yükselebilir.
2. Türkiye, PISA 2022'de 81 ülke arasında matematikte 453 puanla 39., fende 476 puanla 34., okumada 456 puanla 36. oldu. Matematikte ortalama 2018'le yaklaşık aynı, okumada daha düşük, fende daha yüksekti; okumada temel yeterlilik düzeyinin altındakilerin payı 2012'ye göre yedi yüzde puanı arttı.
3. Türkiye'de sınava girenler on beş yaşındaki nüfusun tahminen yüzde 74'ünü temsil ediyordu. Sosyoekonomik durum matematik farklarının yüzde 13'ünü açıklıyordu; dezavantajlı öğrencilerin yüzde 12'si en başarılı dörtte bire girdi.
4. Hanushek ve Woessmann, bilişsel becerilerin büyümeye nedensel bir etkisi olduğuna dair kanıt sundu ve temel okuryazarlığa sahip olanların ve yüksek performans gösterenlerin paylarının büyümeyi birbirini tamamlayarak etkilediğini buldu.
5. Gneezy ve arkadaşları, düşük riskli sınavlarda öğrencilerin çabasının ülkeler arasında farklılaştığını ve sıralamaların yalnızca yeteneği değil, sınavda iyi performans gösterme isteğini de yansıtabileceğini gösterdi.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Düşük riskli sınav nedir? Uluslararası sınavların düşük riskli olması, sonuçlarını nasıl etkileyebilir?
2. (Çıktı 2) Bir ülkenin puanı değişmezken uluslararası sıralamadaki yerinin yükselmesi nasıl mümkün olur? Sıralama yerine hangi göstergeye bakmak daha anlamlıdır?
3. (Çıktı 3) Bir ülkede sınava giren öğrenciler, yaş grubunun beşte dördünü temsil ediyor ve ortalamaları 470 puan. Sınava girmeyenlerin ortalama 390 puan alacağını varsayarsak, bütün on beş yaşındakilerin ortalaması kaç olur?
4. (Çıktı 3) Bir ülkede dezavantajlı öğrencilerin yüzde 8'i ülkedeki en başarılı dörtte bire giriyor. Koşulların hiç etkili olmadığı bir dünyada bu oran ne olurdu? Dezavantajlı bir öğrencinin şansı bu eşitlik ölçütünün kaçta kaçıdır?
5. (Çıktı 4) Hanushek ile Woessmann'ın ve Gneezy ile arkadaşlarının bulguları birlikte değerlendirildiğinde, uluslararası sınav sonuçları eğitim politikasında nasıl kullanılmalıdır?
6. (Çıktı 4) Bir siyasetçi, «Bu turda sıralamada üç basamak yükseldik; demek ki eğitim reformlarımız başarılı oldu» diyor. Türkiye'nin 2022 sonuçlarına ve bu dersteki hesaplara dayanarak bu iddiayı değerlendir.

Cevaplar

1. Düşük riskli sınav, sonucunun sınava giren öğrenci için not, sınıf geçme ya da okul yerleşimi gibi hiçbir sonucu olmayan sınavdır. Öğrencilerin sınava gösterdiği çaba kendi isteklerine bağlı olduğu için, bazıları sınavı ciddiye almayabilir; bu eğilim ülkeler arasında farklılaşıyorsa, ülkelerin puanları ve sıralamaları yalnızca becerileri değil, sınava gösterilen özeni de yansıtır.
2. Sıra, öbür ülkelerin puanlarına ve katılımcı sayısına da bağlıdır. Öbür ülkelerin puanları düşerken bir ülkenin puanı yerinde kalırsa ya da sıralamanın altına yeni ülkeler katılırsa, ülkenin puanı değişmeden sırası yükselebilir. Daha anlamlı gösterge, ülkenin kendi puanının zaman içindeki değişimi, yeterlilik düzeylerindeki öğrenci payları ve ülke içindeki farklardır; sıra kullanılacaksa en azından yüzdelik konuma çevrilmelidir.
3. Bütün on beş yaşındakilerin ortalaması 0,80 × 470 + 0,20 × 390 = 376 + 78 = 454 puandır.
4. Koşulların hiç etkili olmadığı bir dünyada, dezavantajlı öğrencilerin de yüzde 25'i en başarılı dörtte bire girerdi. Dezavantajlı bir öğrencinin şansı bu ölçütün 0,08 / 0,25 = 0,32'si, yani üçte birinden azdır.
5. Hanushek ve Woessmann'ın bulgusu, sınavlarda ölçülen becerilerin ekonomik büyüme için önemli olduğunu ve bu yüzden sınav sonuçlarının ciddiye alınması gerektiğini gösterir. Gneezy ve arkadaşlarının bulgusu ise, sınavın düşük riskli olması nedeniyle puanların ve sıralamaların sınava gösterilen çabadan da etkilendiğini gösterir. Birlikte değerlendirildiklerinde, uluslararası sınavların bir ülkenin becerileri hakkında değerli bilgiler verdiğini, ama sonuçların tek bir sıralamaya indirgenmemesi, ülkenin kendi zaman içindeki değişimine, yeterlilik paylarına ve ülke içindeki farklara bakılarak ve çaba, kapsama ve katılımcı ülkeler gibi etkenler hesaba katılarak okunması gerektiğini gösterirler.
6. Sıralamadaki yükseliş, puanların yükseldiği anlamına gelmez. OECD'ye göre Türkiye'nin matematik ortalaması 2018 ile 2022 arasında yaklaşık aynıydı; sıralamadaki yükselişin bir kısmı, salgın döneminde öbür ülkelerin puanlarının düşmesinden ve katılımcı sayısının değişmesinden kaynaklanıyor olabilir. Yüzdelik konuma çevrildiğinde göreli yer biraz iyileşmiştir, ama puan yerinde saydığı için bu iyileşme başka ülkelerin gerilemesinden gelir. Öte yandan fendeki artış ve matematikte uzun dönemli iyileşme gerçektir ve olumlu bir işarettir. Ama okumada ortalama düşmüş, temel yeterlilik düzeyinin altındaki öğrencilerin payı 2012'ye göre artmıştır. Ayrıca sınava girenler on beş yaşındakilerin yalnızca yüzde 74'ünü temsil ediyordu. Bir reformun başarısını değerlendirmek için sıralamaya değil, bu ayrıntılara ve reformun hangi öğrencileri etkilediğine bakmak gerekir.

İleri okuma

• Eric A. Hanushek, Ludger Woessmann (2015). The Knowledge Capital of Nations: Education and the Economics of Growth. MIT Press. Bilişsel becerilerin ekonomik büyümedeki rolü.
• Pelin Akyol, Kala Krishna, Jinwen Wang (2021). «Taking PISA Seriously: How Accurate are Low-Stakes Exams?». Journal of Labor Research 42(2). PISA'da sınavı ciddiye almayan davranışların sıralamalara etkisi.
• OECD (2023). PISA 2022 Results (Volume I): The State of Learning and Equity in Education. OECD Publishing. PISA 2022 sonuçlarının ülke karşılaştırmaları.
• Eric A. Hanushek, Ludger Woessmann (2011). «The Economics of International Differences in Educational Achievement». Eric A. Hanushek, Stephen Machin, Ludger Woessmann (ed.), Handbook of the Economics of Education, cilt 3. Elsevier. Uluslararası başarı farklarının belirleyicilerine dair araştırmaların değerlendirmesi.

Sonraki derse köprü

Bu dersle eğitim ekonomisi dizisini kapattık: eğitimin getirisinden okul girdilerine, öğretmenlerden okul seçimine, fırsat eşitsizliğinden yükseköğretimin finansmanına ve uluslararası sınavlara kadar, bir toplumun gelecekteki üretkenliğini nasıl biçimlendirdiğini inceledik. Sıradaki dizi bambaşka bir alana, paranın kendisinin geleceğine geçiyor. İlk ders Bitcoin'in ekonomisini ele alıyor: merkezi bir kurum olmadan işleyen bir dijital varlığın arzı nasıl belirlenir, değerini ne taşır, fiyatı neden bu kadar dalgalanır ve para tanımının ölçütlerini, yani değişim aracı, hesap birimi ve değer saklama işlevlerini ne ölçüde karşılar?