Bir araştırmayı bütünsel değerlendirme rubriği

Açılış sahnesi

Doktoranın ilk yılında öğrenciye bir görev veriliyor: yüksek lisans öğrencilerinin dönem sonu araştırma raporlarını okuyup değerlendirmek. Masasında on iki rapor duruyor. Biri bir mahalledeki kira artışlarını anketle incelemiş, biri üniversite öğrencilerinin kimlik anlatılarını görüşmelerle, biri de il düzeyindeki verilerle boşanma ile kadın istihdamı arasındaki ilişkiyi.

İlk üç raporu okuduktan sonra bir sorun fark ediyor. Anket raporunu okurken örneklem büyüklüğüne ve güven aralıklarına bakmış, görüşme raporunu okurken ise anlatıların zenginliğine. İl verisiyle yazılmış raporu en çok beğenmiş, çünkü tabloları düzgün ve sonucu çarpıcıydı. Sonra o raporun il düzeyindeki bir ilişkiyi tek tek kadınların davranışı gibi yorumladığını fark ediyor. Her raporu başka bir ölçütle okuduğunu, en çok beğendiği raporda ise en temel hatayı gözden kaçırdığını görüyor. Kurs boyunca biriktirdiği sorular aklında, ama dağınık duruyor. Onları tek bir sayfada, her rapora aynı adaletle sorabileceği bir düzene sokması gerekiyor.

Bu derste ne olacak

On iki rapor, değerlendirme görevi ve ilk üç okumada fark edilen tutarsızlık kurgu. Bir araştırmayı yöntem türünden bağımsız olarak adil ve kapsamlı biçimde değerlendirmek ise hakemlerin, tez jürilerinin, fon kurullarının ve bir bulguya güvenip güvenmeyeceğine karar veren her okurun her gün yaptığı gerçek bir iştir.

Bu ders kursu kapatıyor. Önceki yedi derste ayrı ayrı ele alınan soruları, yani tutumu, bilgi hedefini, konumu, genellemeyi, yeniden üretilebilirliği ve sağlamlığı, keşif ile sınamanın ayrılmasını ve yöntemlerin birleştirilmesini, bir değerlendirme rubriğinin boyutlarına dönüştürüyor. Rubriğin hangi boyutlardan oluştuğu, farklı yöntemlere nasıl uyarlandığı, bir kusurun ne zaman bütün araştırmayı çökerttiği ve rubriğin bir kontrol listesine indirgendiğinde neyi kaybettiği dersin konuları.

Sıfır noktası — Dağınık sorulardan düzenli bir sayfaya

Kaynak tarama kursunda kalite değerlendirme, kapsama giren bir kaynağın iddialarına ne ölçüde güvenilebileceğinin sorgulanması olarak tanımlanmıştı. Bu ders aynı işi tek bir kaynak türü için değil, her türlü sosyolojik araştırma için yapabilecek bir çerçeve kuruyor.

Mekanizma — Rubriğin boyutları

Kurs boyunca biriken sorular, yedi boyutta toplanabilir. Her boyut, bir araştırmanın farklı bir yanını sorgular ve her birinin nitel ve nicel araştırmada farklı biçimde uygulanması gerekir.

Birinci boyut, sorunun kendisidir: araştırma sorusu açık mı, önemli mi ve cevaplanabilir mi? İkinci boyut, sorunun ve yöntemin birbirine uyup uymadığıdır.

Üçüncü boyut, kursun ilk iki dersinden gelir: araştırmanın hangi tutumdan konuştuğu ve hangi bilgi hedefini güttüğü açık mı? Dördüncü boyut, üçüncü dersten gelir: araştırmacı nereden baktığını ve neyi önemsediğini okura açıyor mu, güvenilirlik hiyerarşisine karşı duyarlı mı? Beşinci boyut, dördüncü dersten gelir: bulgular nereye ve hangi mantıkla genelleniyor, kapsam koşulları belirtilmiş mi?

Altıncı boyut, beşinci ve altıncı derslerden gelir: başkası aynı sayılara ulaşabilir mi, sonuç makul alternatif kararlarda ayakta kalıyor mu, keşifsel bulgular sınamalardan ayrılmış mı, bütün sonuçlar raporlanmış mı? Yedinci boyut ise etik ve katkı boyutudur: araştırma katılımcılara karşı sorumluluklarını yerine getirmiş mi, alana ne katıyor?

Bu boyutlar nitel ve nicel araştırmada farklı biçimde uygulanır. Nicel bir araştırmada yeniden üretilebilirlik, veri ve kodun paylaşılması anlamına gelir. Nitel bir araştırmada ise kodlama kararlarının, saha notlarının ve analiz sürecinin izlenebilir biçimde kaydedilmesi anlamına gelir. Aynı boyut, iki gelenekte kendi mantığına uygun bir ölçüte çevrilmelidir.

Rubriğin boyutlarını puanlamak, onları toplamakla aynı şey değildir. Bazı kusurlar, öteki boyutlardaki başarı ne olursa olsun, bütün araştırmanın sonuçlarını geçersiz kılar.

Bir rubrik, raporlama kılavuzlarıyla da desteklenebilir. Bu kılavuzlar, belirli türdeki araştırmaların raporlarında hangi bilgilerin bulunması gerektiğini sıralar ve okurun bir araştırmayı değerlendirebilmesi için gereken bilginin eksik olup olmadığını görmesini kolaylaştırır.

Kuramsal mercekler

Rubrikler ve kontrol listeleri, nitel araştırma geleneği içinde farklı tepkilerle karşılanmıştır. Bir görüşe göre bu araçlar, nitel araştırmanın da denetlenebilir ve karşılaştırılabilir olmasını sağlar ve alana güven kazandırır. Karşıt görüşe göre ise kontrol listeleri, nitel araştırmanın yorumlayıcı ve bağlama duyarlı doğasını mekanik bir işaretleme işlemine indirger ve araştırmacıları kaliteyi göstermek yerine listedeki kutuları doldurmaya iter.

Bu tartışmanın bir çözümü, rubriğin bir puan tablosu olarak değil, bütünsel bir yargıyı destekleyen bir düşünme aracı olarak kullanılmasıdır.

Ölçek

Rubrik, tek bir araştırmanın ölçeğinde kullanıldığında bir değerlendirme aracıdır. Bir alanın ölçeğinde kullanıldığında ise o alanın kalite normlarını yansıtır ve biçimlendirir. Bir dergi, bir fon kurumu ya da bir bölüm hangi boyutlara ağırlık verirse, o alanda yapılan araştırmalar da zamanla o boyutlara göre biçimlenir. Rubriğin kendisi de bu yüzden eleştirel bir gözle değerlendirilmelidir: hangi araştırma türlerini ödüllendiriyor, hangilerini görünmez kılıyor?

Türkiye bağlamı ve karşılaştırma

Türkiye'de lisansüstü tezlerin değerlendirilmesi, çoğu zaman jüri üyelerinin kendi deneyimlerine ve yöntem geleneklerine dayanır ve açık bir rubriğe bağlı değildir. Bu durum, aynı tezin farklı jürilerde farklı değerlendirilmesine ve öğrencilerin neyin beklendiğini önceden bilememesine yol açabilir. Uluslararası karşılaştırmada, bazı üniversiteler ve dergiler değerlendirme ölçütlerini açıkça yayımlar ve hakemlerden bu ölçütlere göre gerekçeli rapor yazmalarını ister.

Bu bilgiyi nasıl biliyoruz?

Bir rubriğin iyi çalışıp çalışmadığı, farklı değerlendiricilerin aynı araştırmaya benzer puanlar verip vermediğine, rubriğe göre iyi değerlendirilen araştırmaların sonraki çalışmalarla desteklenip desteklenmediğine ve rubriğin farklı yöntem türlerine adil davranıp davranmadığına bakılarak sınanabilir. Nitel araştırmada kalite ölçütleri üzerine yapılan tartışmalar ise, farklı geleneklerin kalite anlayışlarını ortak bir çerçevede buluşturma çabalarıyla gelişmiştir.

Yaygın hatalar

Aklında kalsın

1. Değerlendirme rubriği farklı araştırmalara aynı soruları sormayı ve yargının gerekçelerini görünür kılmayı sağlar.
2. Soru–yöntem uyumu rubriğin en temel boyutudur, yanlış soruya verilmiş kusursuz cevap kurtarılamaz.
3. Aynı boyut nitel ve nicel araştırmada kendi mantığına uygun farklı ölçütlerle uygulanır.
4. Belirleyici kusur, öteki boyutlardaki başarıdan bağımsız olarak ana sonucu geçersiz kılar.
5. Raporlama kılavuzları kaliteyi değil, kalitenin değerlendirilebilmesi için gereken bilgiyi denetler.
6. Rubrik bir puan tablosu değil, bütünsel bir yargıyı destekleyen düşünme aracıdır.
7. Bir rubriğin kendisi de hangi araştırma türlerini ödüllendirdiği açısından eleştirel biçimde sorgulanmalıdır.

Sonraki derse köprü

Öğrenci rubriğini on iki rapor üzerinde denedikten sonra, onu daha zorlu bir sınava sokmak istiyor: Türkiye toplumunu anlatmak için en sık başvurulan klasik kavramlardan biri üzerinde. Türkiye'nin siyasal ve toplumsal tarihini bir merkez ile bir çevre arasındaki gerilim olarak okuyan yaklaşım, sosyolog Şerif Mardin'in adıyla anılır ve onlarca yıldır pek çok çalışmanın çıkış noktası olmuştur. Bu yaklaşımı değerlendirebilmek için önce kavramın dayandığı tarihsel zemine inmek gerekiyor: imparatorluğun merkezi kimdi, çevresi kimdi, ve toplumsal düzen bu iki kutup arasında nasıl kuruluyordu? Türkiye sosyolojisi kursu, Osmanlı'nın toplumsal yapısıyla ve merkez ile çevre arasındaki bu ilişkiyle açılıyor.