Kaynak eleme ve kalite değerlendirme

Açılış sahnesi

Önceki derste bir öğrencinin komşuluk üzerine yürüttüğü taramayı atıf izleyerek genişlettiğini görmüştük; atıf sayısının bir kaynağın ağ içindeki konumunu gösterdiğini, ama iddiasının sağlamlığını göstermediğini not etmiştik. Bu derste sahne değişiyor, soru aynı yönde kalıyor.

Bir araştırma ekibi, bir belediyenin sipariş ettiği rapor için yaşlıların sosyal yalnızlığını azaltan programlar konusunda literatür topluyor. Ekipteki iki kişi özleri ayrı ayrı okuyor; biri bir gündüz bakım merkezi çalışmasını dahil ediyor, öbürü bunu bir bakım hizmeti sayıp dışarıda bırakıyor. İkisi de aynı özü okumuş, aynı ölçütleri elinde tutuyor, yine de karar ayrışıyor.

Tam metin aşamasında başka sorunlar çıkıyor: çok atıf almış, tanınmış bir dergideki makale, katılan ve katılmayan yaşlıları karşılaştırıyor, ama katılanların baştan daha sağlıklı olduğunu tartışmıyor. Başka bir makale çarpıcı sonuçlar veriyor, ama yayımlandığı dergi ücret alıyor, birkaç gün içinde kabul ediyor, yöntem bölümü iki paragrafı geçmiyor. Yerel bir dergideki, az atıf almış küçük bir nitel çalışma ise programın kimine neden işe yaradığını anlatıyor. Ekibin başındaki kişi tanınmış dergilerdekileri alalım, gerisini bırakalım diyor, biri itiraz ediyor.

Bu derste ne olacak

Yukarıdaki sahne bir kurgu, ama içindeki gerilim gerçek: kapsama giren bir kaynağı elemek başka bir karar, kapsama girmiş bir kaynağa ne kadar güvenileceğine karar vermek başka bir karardır. Ekibin başındaki kişinin önerisi bu iki kararı tek bir ölçüte, dergi tanınırlığına indirgiyor; itiraz eden kişi haklı, çünkü dergi adı ne kapsam sorusuna ne de güven sorusuna tek başına cevap verir.

Bu ders, kapsama giren kaynakların nasıl elendiğini ve kalanların kalitesinin nasıl sorgulandığını birlikte ele alıyor. İki karar birbirine benziyor, çünkü ikisi de kaynağı listede tutup tutmama sorusuyla ilgili görünüyor. Ama farklı sorulara cevap veriyorlar ve karıştırıldıklarında tarama hem eksik hem yanıltıcı hale geliyor.

Sıfır noktası — kapsam mı, güven mi

Bir kaynak listesi iki farklı süzgeçten geçer ve bu iki süzgeç sık sık karıştırılır: biri kapsama girip girmediğini, öbürü girdikten sonra bulgusuna ne kadar yaslanılabileceğini sorar.

Gündüz bakım merkezi tartışması tam olarak bu ilk aşamada yaşanıyor. Öz düzeyinde iki okuyucu aynı bilgiye sahip, ama ölçütü farklı yorumluyor: biri sosyal temas sağlayan her müdahaleyi kapsamda sayar, öbürü yalnızca yalnızlığı hedefleyeni sayar. Bu bir okuma hatası değil, ölçütün henüz yeterince keskin yazılmamış olmasının belirtisi.

Böyle bir anlaşmazlık çıktığında iki okuyucu ölçütü birlikte yeniden okur, hangi kelimenin hangi durumu kapsadığına karar verir ve bu kararı yazıya geçirir.

Eleme bittiğinde elde kalan liste artık konuya giren kaynaklar listesidir, ama henüz o kaynakların ne kadar güvenilir olduğu hakkında hiçbir şey söylemez. İkinci süzgeç burada başlıyor.

Mekanizma — elemeden tartmaya

Kalite değerlendirmesinin bütün soruları tek noktaya çıkar: kullanılan yöntem, sorulan soruya cevap verebilecek türden mi? Tanınmış dergideki makale, programın yalnızlığı azaltıp azaltmadığını katılanlarla katılmayanları karşılaştırarak cevaplamış, oysa katılım kendiliğinden gerçekleşmiş. Katılanlar zaten daha sağlıklıysa, aradaki fark programdan mı geliyor yoksa baştan var olan farktan mı, makale ayıramıyor; bu, iç geçerlilik sorununun tam burada karşımıza çıkmasıdır.

Ölçümün ne ölçtüğü de aynı derecede önemli. Yalnızlığı bir anket sorusuyla mı, uzun bir görüşmeyle mi, yoksa dolaylı bir göstergeyle mi ölçtüğü, sonucun ne anlama geldiğini değiştirir. Örneklemin kimleri kapsadığı da aynı yönde işler; küçük bir yerleşimde toplanmış bir örneklem, bulgunun başka bir bağlama ne kadar taşınabileceğini sınırlar.

Yöntemin ve verinin ne kadar açık anlatıldığı da bir kalite işareti. Kısa bir yöntem bölümü okuru neyin ölçüldüğü, kaç kişiyle çalışıldığı konusunda karanlıkta bırakır; bu karanlık sonucun çarpıcı olmasıyla telafi edilmez, tam tersine sonucu daha şüpheli kılar.

Fon kaynağının ve çıkar çatışmasının belirtilip belirtilmediği de kalitenin bir parçasıdır: bir kurumun finanse ettiği değerlendirme geçersiz sayılmaz, ama veri uydurma ya da çarpıtma riskini ortadan kaldırmaz.

Son olarak sonuçların veriyle orantılı anlatılıp anlatılmadığına bakmak gerekir: küçük bir örneklemden elde edilmiş bir bulgu genel bir cümleyle sunulduğunda, veri ile iddia arasındaki mesafe kalitenin düştüğü noktadır. İyi bir çalışma bile abartılarak anlatılabilir, o zaman sorun veride değil sunumdadır.

Düşük kaliteli bir kaynak, bu sorulara zayıf cevap verdiği için otomatik olarak listeden çıkarılmaz. Yerel dergideki nitel çalışma az atıf almış, geniş örneklemi de yok, ama başka hiçbir kaynağın veremeyeceği bir açıklama gücü katıyor.

Peki yayımlandığı yer bu değerlendirmeyi nasıl etkiliyor? Çarpıcı sonuçlar veren makalenin yayımlandığı dergi yazarlardan ücret alıyor, gönderilen makaleyi birkaç gün içinde kabul ediyor, hakemlerin kim olduğu hiçbir yerde görünmüyor.

Ekibin başındaki kişinin önerisi dergi tanınırlığını tek ölçüt yapmayı öneriyordu. Ama tanınmış dergi ile yağmacı dergi arasındaki fark yalnız iki uçtaki örnekte kolay görülüyor; aradaki geniş alanda dürüst bir hakem süreci işleten yerel dergiler de var ve bunları yağmacı sanmak, titiz bir çalışmayı dışarıda bırakır.

Kuramsal mercekler

Kalitenin ne olduğu sorusuna araştırma geleneklerinin farklı yanıtları var, ama bu farklılık bir hiyerarşi değil, aynı soruna farklı açılardan yaklaşmak. Nicel geleneğin ağırlık verdiği yer tasarımdır: gruplar nasıl oluşturulmuş, ölçüm aracı ne kadar tutarlı ölçüyor, örneklem iddiayı taşıyacak kadar geniş mi. Bu gelenekte kalite büyük ölçüde tasarımın iç geçerliliği ne kadar koruduğuna bakılarak değerlendirilir.

Nitel gelenek aynı soruyu farklı bir yerden sorar; orada kalitenin işareti araştırmacının kendi konumunu ne kadar açık anlattığı, verinin bağlamını ne kadar ayrıntılı aktardığıdır. Söylenmesi gereken tek şey, nitel bir çalışmanın kendi geleneğinin ölçütleriyle tartılması gerektiğidir.

Üçüncü bir bakış açısı, kalitenin kendisinden çok nasıl işaretlendiğiyle ilgilenir: hakem değerlendirmesi, dergi itibarı, atıf sayısı gibi göstergeler birer vekil işarettir, doğrudan kalitenin kendisi değil. Bir vekil işaret, işaretlediği şeyle güçlü bir ilişki taşıdığı sürece işe yarar. Dergi itibarı çoğu zaman titiz bir hakem sürecine işaret eder, ama bu ilişki mutlak değildir ve tam bu boşluktan yağmacı yayıncılık beslenir.

Ekibin başındaki kişinin önerisi bu üçüncü bakışı tek ölçüt sanmanın bir örneği. Dergi tanınırlığına bakmak anlamsız değil, tanınmış dergilerin çoğu daha sıkı bir hakem sürecinden geçiriyor; ama istisnaları görmek için tasarıma doğrudan bakmak gerekiyor.

Ölçek

Kalite kararının nerede yapıldığı, kimin bu karardan sorumlu tutulacağını belirler ve bu sorumluluk her durumda aynı bedeli taşımıyor. Bir ödev için hazırlanan küçük bir taramada zayıf bir kaynağı fark etmeden kullanmanın bedeli genellikle bir notla sınırlı kalır.

Bir tez savunmasında aynı hata farklı bir yere düşer: jüri kaynağın yöntemini sorguladığında öğrencinin savunması zayıflar. Bedel artık bir notla sınırlı değildir, çalışmanın bütününe yayılan bir güven kaybıdır.

Bir kamu politikası raporunda aynı hata başka bir yere düşer. Rapor bir bütçe kararına dayanak oluyorsa, zayıf bir kaynağa dayanan öneri kaynakların yanlış yere aktarılmasına yol açabilir; bedeli taşıyan artık raporu yazan değil, programdan yararlanacak insanlardır.

Yapılan iş her durumda aynı: bir kaynağın ne kadar güvenilir olduğuna karar vermek. Kararın yanlış çıkması farklı türden bir bedele düşüyor; bu fark, ölçek büyüdükçe özenin neden arttığını gösteriyor.

Türkiye bağlamı ve karşılaştırma

Türkiye'de akademik ilerlemenin ağırlıkla yayın adediyle ölçülmesi, çabuk sonuç veren yayın kanallarına ilgiyi artırıyor. Bir araştırmacı belirli bir sürede belirli sayıda yayına ihtiyaç duyduğunda, aylarca süren bir hakem sürecini bekleyecek zamanı olmayabiliyor; bu da yağmacı yayınların pazarını genişletiyor, ölçme biçiminin yarattığı bir baskı.

Türkiye'de yayımlanan dergilerin hakem süreçleri de kendi içinde çok farklı düzeylerde işliyor: bazıları uluslararası standartlara yakın çalışırken bazıları göstermelik bir değerlendirmeyle yetiniyor, bu yüzden değerlendirme dergi değil makale düzeyinde yapılmak zorunda.

Kamu kurumlarının yayımladığı raporlar da taramaya kaynak olarak girebiliyor, ama yöntem bölümleri çoğu zaman kısadır; veri nasıl toplanmış, kaç kişiyle görüşülmüş gibi sorular tek paragrafla geçiştiriliyor. Böyle bir kaynağı dışlamak yerine, hangi iddia için kullanılabileceğini daraltmak daha doğru bir yol.

Tezlerin taramaya dahil edilip edilmeyeceği de kapsam kararının bir parçası: bir tez hakemli dergiden geçmemiş olabilir, ama genellikle yöntemini ayrıntılı anlatır ve bu dergi makalesinden daha fazla şeffaflık sağlar. Dahil etmek ya da etmemek, taramanın başında konulan ölçütlerle tutarlı bir seçimdir.

Yağmacı yayıncılık dünyada birçok araştırma ortamının ortak derdi; farklı ülkeler buna farklı biçimlerde karşılık veriyor, kimi zaman uyarılarla, kimi zaman hangi dergilerin dikkate alınacağını belirleyen listelerle. Bu karşılaştırma, aynı zayıf noktanın farklı ölçme sistemlerinde benzer bir talep yarattığını gösteriyor.

Bu bilgiyi nasıl biliyoruz?

Kalite değerlendirmesinin sorduğu sorular gökten inmiş değil, araştırmacıların hangi hataların sonucu çarpıttığını tartışarak biriktirdiği bir birikim. Karşılaştırma grubunun uygun kurulup kurulmadığına bakmak gerektiği bilgisi, bu kontrol yapılmadan yayımlanmış çalışmaların yeniden incelenince aynı sonucu vermediğinin görülmesinden geliyor.

Yöntem bölümünün neden ayrıntılı yazılması gerektiği de benzer bir yoldan geliyor. Bir alan, yöntem bölümlerini kısa tuttuğu dönemlerde başka araştırmacıların aynı çalışmayı tekrarlayamadığını fark ettikçe, şeffaflığı bir yayın koşulu haline getirmeye başlıyor.

Yağmacı dergilerin taşıdığı ortak işaretler de tek bir örnekten değil, çok sayıda şüpheli yayının bir arada incelenmesinden çıkarılmış bir örüntü: ücretin hızlı tahsil edilmesi, kabul sürecinin kısalığı ve hakem izinin görünmemesi gibi tekrar eden işaretler.

Nitel çalışmaların kendi kalite ölçütleri de benzer bir birikimden geliyor; alan, hangi anlatının okuru ikna ettiğini tartışarak kendi ölçütlerini oluşturmuş, ama bu ölçütler bu dersin konusu değildir.

Yaygın hatalar

Aklında kalsın

1. Kaynak eleme kaynağın kapsama girip girmediğine karar verir, kalite değerlendirme kapsama giren kaynağa ne kadar güvenileceğine karar verir.
2. Eleme kaydı, son listeye hangi kaynağın hangi gerekçeyle girdiğini ve hangisinin neden çıkarıldığını gösterir.
3. Kalitenin en temel sorusu, kullanılan yöntemin sorulan soruya cevap verebilecek türden olup olmadığıdır.
4. Karşılaştırılan grupların baştan farklı olması, sonucun programdan mı yoksa gruplar arasındaki baştan gelen farktan mı geldiğini belirsizleştirir.
5. Dergi tanınırlığı ve atıf sayısı titiz bir hakem sürecine işaret edebilir, ama bunu garanti etmez.
6. Yağmacı bir dergiyi tanıyan işaret derginin küçüklüğü değil, ücretin hızı, kabul sürecinin kısalığı ve hakem izinin yokluğudur.
7. Düşük kaliteli bir kaynak bazen dahil edilir, ama ağırlığı açıkça düşük tutulur ve bu sınırlama yazılı olarak belirtilir.

Sonraki derse köprü

Eleme ve tartma bittiğinde elde kalan şey artık rastgele bir yığın değil, üzerinde düşünülmüş bir liste. Ama bir liste, tek tek satırlar halinde durduğu sürece kaynakların birbirine nasıl baktığını göstermez. Bir kaynağın hangi soruyu hangi yöntemle sorduğunu, ne bulduğunu ve kalitesinin nerede zayıfladığını bir başkasıyla görmeden, iki çalışmanın birbirini mi doğruladığını yoksa çürüttüğünü mü fark etmek zor. Notları açıklamalı bibliyografya ve literatür matrisiyle ortak bir düzene sokmadan, ekip kaynakların birbirine göre nerede durduğunu göremiyor.