Anlatı, kapsam ve sistematik derleme farkları

Açılış sahnesi

Önceki derste göç üzerine tez yazan bir doktora öğrencisinin masasında dolu bir literatür matrisi duruyordu. Satırlarda kaynaklar, sütunlarda yöntem, örneklem ve bulgu sıralanıyordu; matris tamamlanmıştı ama tek başına hiçbir şey söylemiyordu. Öğrencinin onu bir tartışma bölümüne, bir savunma metnine çevirmesi gerekiyordu, bu çeviri de tek bir yoldan geçmiyordu. Başka bir masada, başka bir metni bugün bitirmesi gereken biri aynı farkı çok daha keskin biçimde yaşıyor.

Bir bakanlıkta çalışan bir politika uzmanı, koşullu nakit yardımlarının çocukların okula devamına etkisi konusunda bir karar notu hazırlıyor; önüne üç ayrı derleme konuyor. İlki tanınmış bir akademisyenin kaleme aldığı akıcı bir anlatı derlemesi: güçlü bir sonuca varıyor, ama kaynaklarını nasıl seçtiğini hiçbir yerde açıklamıyor. Uzman bu akademisyenin yıllardır bu tür programları savunduğunu biliyor. İkinci metin bir kapsam derlemesi: dünyanın farklı köşelerinde hangi programların, hangi yaş gruplarında, hangi yöntemlerle incelendiğini bir harita gibi çıkarıyor, hangi bölgelerde hiçbir çalışma yapılmadığını da gösteriyor, ama "bu programlar işe yarıyor mu" sorusuna hiç girmiyor. Üçüncü metin bir sistematik derleme: önceden yayımlanmış bir protokole göre yürütülmüş, kaynakları toplamış, elemiş, kalitesini değerlendirmiş, karşılaştırma grubu bulunan çalışmaların sonuçlarını birleştirmiş. Uzman dikkatle okuyunca bu üçüncü metnin yalnızca karşılaştırma grubu olan çalışmaları aldığını, ailelerin programı nasıl yaşadığını anlatan nitel çalışmaları en baştan dışarıda bıraktığını fark ediyor. Müdürü kapıdan başını uzatıp "en kısasını al, bitir bu işi" diyor. Uzman elindeki üç metnin aynı soruya üç farklı türden cevap verdiğini, hiçbirinin ötekinin yerine tam olarak geçemeyeceğini o an anlıyor.

Bu derste ne olacak

Masadaki bakanlık, üç rapor, uzmanın müdürü — bunların hiçbiri belgelenmiş bir vakaya dayanmıyor. Konuyu tek bir karar anına sıkıştırmak için kurguyu ödünç aldık. Üç derleme türünün aynı soruya nasıl farklı biçimde cevap verdiğini yan yana görmenin en kısa yolu buydu. Bu dersin sorusu şu: bir konuda "ne biliniyor" diye sorulduğunda, anlatı, kapsam ve sistematik derlemenin bu soruya verdiği cevaplar neden birbirinin yerine geçmiyor, bir okur elindeki metnin hangi türden olduğunu nasıl anlıyor. Önceki dersin matrisi dolu bir tablo bırakmıştı; bu ders o tabloyu bir metne çevirmenin birbirinden çok farklı yolları olduğunu, seçilen derleme türünün okurun metinden ne bekleyebileceğini önceden çizdiğini gösteriyor.

Sıfır noktası — aynı soruya üç farklı söz

İlk rapor bir söz veriyordu: bu alanı nasıl anlamalısın. Tanınmış akademisyenin akıcı metni, dağınık bulguları tek bir yorumda topluyor, okura bir çerçeve sunuyordu. Bu çerçevenin gücü kaynakları nasıl seçtiğini söylemekten değil, dağınık bir alanı anlaşılır kılmasından geliyordu; bu tür metne anlatı derlemesi deniyor.

İkinci rapor başka bir söz veriyordu: bu alanda ne yapılmış, ne yapılmamış. Yaş gruplarını, yöntemleri, bölgeleri bir tabloya döken bu metin, hangi sorunun cevaplanmaya çalışıldığını değil, hangi soruların hiç sorulmadığını gösteriyordu; bu tür metne kapsam derlemesi deniyor.

Üçüncü rapor ise en dar ama en sıkı sözü veriyordu: bu soruya kanıt ne diyor. Bu metin, önceden yazılmış bir protokole bağlı kalarak bir kaynak kümesini taramış, elemiş, kalitesini tartmıştı; bu tür metne sistematik derleme deniyor.

Hangisinin daha iyi olduğu değil, hangisinin sorulan soruya uyduğu önemlidir. Bakanlıktaki uzman üçünü de dikkatle okuduktan sonra bunu fark ediyordu.

Mekanizma — protokolün önceden yazdığı karar

Önceki derslerde öğrenilen adımlar — tarama sorusunu daraltmak, arama kaydını tutmak, dahil ve dışlama ölçütlerini yazmak, kalite değerlendirmesini yapmak, bulguları bir matriste toplamak — üç derleme türünde de vardır, ama görünürlükleri aynı değildir. Sistematik derlemede bu adımların hepsi derleme başlamadan önce tek bir belgede yazıya dökülür.

Anlatı derlemesinde ise bu adımların çoğu yazarın zihninde kalır. Hangi kaynağın neden dahil edildiği, hangisinin neden görmezden gelindiği metnin kendisinde açıklanmaz, okur yalnızca sonuca ulaşır.

Sistematik olmak tarafsız olmak anlamına gelmez; dahil etme ölçütünün kendisi bir seçimdir, bu seçim hangi soruların görünür kalacağını, hangilerinin devre dışı bırakılacağını belirler. Açılış sahnesindeki sistematik derleme yalnızca karşılaştırma grubu bulunan çalışmaları alarak ailelerin programı nasıl yaşadığını anlatan nitel çalışmaları baştan dışarıda bırakmıştı. Bu, derlemeyi yanlış yapmıyordu, yalnızca kapsadığı soruyu daraltıyordu.

Sistematik derlemenin bazen ardından gelen bir aşama daha vardır: benzer soruyu soran çalışmaların sayısal sonuçlarını birleştirmek.

Sayıların birleştiremediği bir taraf kalır: katılımcıların bir uygulamayı nasıl deneyimlediği, neden işe yaradığını ya da yaramadığını düşündükleri; bu tarafı toplamanın kendi yolu var.

Kuramsal mercekler

Kanıta dayalı politika geleneğinden gelen bir okuma, sistematik derlemeyi ve onun nicel uzantısı olan meta-analizi en güvenilir bilgi biçimi sayar, çünkü adımları kayıtlı ve tekrarlanabilirdir. Bu okumaya göre bir kararın arkasında hangi kanıtın durduğu, o kanıtın nasıl toplandığı açıkça izlenebilmelidir. Belirsiz kaynaklı bir yorumun karar notuna girmesi bu geleneğe göre kabul edilebilir değildir.

Bilgi sosyolojisine yakın bir yaklaşım aynı sistematikliğin kendi içinde bir seçim taşıdığını hatırlatıyor. Dahil etme ölçütünü kim yazdı, hangi dilde yayımlanmış çalışmalar arandı, hangi veri tabanlarına erişim vardı — bunların hepsi, sistematik derlemenin de tarafsız bir makine olmadığını, birinin verdiği kararlarla şekillendiğini gösteriyor. Bu yaklaşıma göre "sistematik" sözcüğü yöntemin şeffaflığını anlatır, sonucun kaçınılmaz doğruluğunu değil.

Tartışmanın karşı kutbunda duran bir konum, anlatı derlemesinin ve nitel sentezin sağladığı yorumsal derinliğin sayısal birleştirmeyle elde edilemeyeceğini savunuyor. Bir kuramsal hattın zaman içinde nasıl geliştiğini anlatmak, adım adım kayıtlı bir protokolden değil, geniş okumadan ve yorumdan geçiyor. Bu konuma göre her bilgi biçimini tek bir kalite ölçütüne indirgemek, sosyolojinin kendi sorularını daraltır.

Her iki taraf da haklı bir noktaya basıyor, aralarındaki gerilim bir derleme türü seçilirken göz ardı edilemiyor. Hangi sorunun sorulduğu bu gerilimi çoğu zaman yumuşatıyor, ama tamamen ortadan kaldırmıyor.

Ölçek

Aynı literatür üç farklı okura verildiğinde üç farklı ihtiyacı karşılaması bekleniyor; ölçek sorusu asıl burada, bu ihtiyaç ile derleme türü arasındaki eşleşmede ya da uyumsuzlukta ortaya çıkıyor.

Bir öğrencinin tez önerisini değerlendiren bir öğretim üyesi genellikle bir anlatı derlemesi bekler. Öğrencinin alanı nasıl okuduğunu, hangi kuramsal hatta durduğunu görmek ister; öğrenci ona bir kapsam derlemesinin ham haritasını sunarsa, öğretim üyesi yorumun nerede olduğunu sorar. Bir alanın uzmanlarından oluşan bir kurul, yeni bir araştırma gündemi belirlerken bir kapsam derlemesine ihtiyaç duyar: hangi sorular çalışılmış, hangileri hâlâ boş kalmış. Onlara dar bir soruya odaklanan sistematik bir derleme verilirse, alanın geri kalanındaki geniş resmi göremezler. Bir kararı imzalamak zorunda olan bir yönetici, "bu program işe yarıyor mu" sorusuna en yakın cevabı sistematik bir derlemeden bekler; ona bir anlatı derlemesi sunulursa, yazarın kişisel yorumu ile kanıtın kendisini birbirinden ayıramaz.

Bu üç örnek bir merdiven değil, hiçbiri ötekinden daha büyük ya da daha küçük değil, yalnızca farklı bir okurun farklı bir sorusuna cevap veriyor. Ölçek burada birim büyüklüğünde değil, okurun taşıdığı kararın ağırlığında değişiyor. Bir öğretim üyesinin notu ile bir kamu kararının notu aynı derleme türünden aynı şeyi istemiyor.

Türkiye bağlamı ve karşılaştırma

Türkiye'de sosyoloji alanında yayımlanan derlemelerin büyük bir kısmı anlatı derlemesi biçiminde yazılıyor. Bir kuramsal tartışmayı özetleyen, bir alanın tarihini anlatan metinler yaygın, ama önceden yazılmış bir protokole dayanan sistematik bir derleme, ya da bir alanın haritasını çıkaran bir kapsam derlemesi, sosyolojide henüz sık görülen bir biçim değil. Bu iki tür sağlık bilimlerinde çok daha yerleşik durumda; bir tedavi ya da bir müdahale hakkında karar verilirken sistematik derleme ve onun nicel uzantısı artık beklenen bir adım hâline gelmiş. Kamu politikası karar notlarında ise hangi kanıta, hangi derleme türüne dayanıldığı çoğu zaman açıkça belirtilmiyor; bu literatürün bir anlatı mı, bir kapsam mı, yoksa sistematik bir derleme mi olduğu okura bırakılıyor. Uluslararası sistematik derlemeler de kusursuz bir ayna değil: Türkiye'den yürütülmüş çalışmalar bazen farklı bir dilde yayımlandığı, bazen de aranan veri tabanlarının dizininde yer almadığı için bu derlemelerin dışında kalabiliyor, bu da derlemenin sonucunu Türkiye'deki durumdan biraz uzaklaştırabiliyor. Kanıta dayalı politika üretiminin daha yerleşik olduğu bağlamlarla karşılaştırıldığında fark, yöntemin var olup olmamasından çok, kurumsallaşmış olup olmamasında görünüyor. Sistematik derleme orada da zahmetli bir iştir, ama onu üretecek zaman, eğitim ve kurumsal beklenti daha hazır durumdadır.

Bu bilgiyi nasıl biliyoruz?

Bir derlemenin hangi türden olduğu, o türün ölçütlerini gerçekten karşılayıp karşılamadığı, okurun izlenimine değil, metnin kendi içindeki izlere bakılarak anlaşılıyor. Bir arama tarihi var mı, bir dahil etme ölçütü yazılı mı, bir eleme kaydı tutulmuş mu, bunlara bakılıyor. Yöntem üzerine çalışan araştırmacılar, aynı konuda yazılmış derlemeleri karşılaştırdıklarında bir örüntü buluyor: bu izler sistematik derlemede neredeyse her zaman bulunuyor, anlatı derlemesinde ise çoğunlukla bulunmuyor.

Dergi editörleri ve hakemler son dönemde bir derlemenin hangi türde olduğunu baştan beyan etmesini giderek daha sık istiyor. Bu da yazarın "derleme" başlığına neyi sığdırdığını görünür kılıyor.

Bütün bu denetime rağmen tartışma kapanmış değil; bazı yöntemciler sistematik derlemenin ölçütlerinin sosyoloji gibi alanlarda çok katı kaldığını, konunun doğası gereği tek bir protokole sığmayan çalışmaları dışarıda bıraktığını savunuyor. Bazıları ise ölçütlerin gevşetilmesinin derlemeyi zamanla anlatı derlemesine geri döndüreceğini söylüyor.

Yaygın hatalar

Aklında kalsın

1. Anlatı derlemesi "bu alanı nasıl anlamalıyız" sorusuna, kapsam derlemesi "bu alanda ne yapılmış" sorusuna, sistematik derleme "bu soruya kanıt ne diyor" sorusuna cevap verir.
2. Bir derleme türünün diğerinden üstün olması değil, sorulan soruya uyması önemlidir.
3. Sistematik derlemede tarama sorusu, arama kaydı, ölçütler ve kalite değerlendirmesi derleme başlamadan önce bir protokolde yazılır.
4. Sistematik olmak tarafsız olmak anlamına gelmez, çünkü dahil etme ölçütünün kendisi bir seçimdir.
5. Meta-analiz yalnızca birbirine yeterince benzeyen çalışmalar birleştirildiğinde anlamlı bir tahmin üretir.
6. Nitel sentez, sayıların bir araya getiremediği "nasıl ve neden" sorusuna yaklaşır.
7. Bir derlemenin türünü anlamak için üslubuna değil, arama tarihi ve dahil etme ölçütü gibi izlerine bakmak gerekir.

Sonraki derse köprü

Az önce okuduğun kapsam derlemesi bir konuda neyin çalışılmadığını gösterebilir. Bakanlıktaki uzmanın elindeki ikinci rapor da tam olarak bunu yapmıştı, hangi yaş gruplarının, hangi bölgelerin literatürün dışında kaldığını haritalamıştı. Ama boş kalan bir hücre kendi başına bir sebep taşımıyor. Bir konunun hiç çalışılmamış olması, önemsiz bulunduğu için de olabilir, erişim zor olduğu için de, kimse sormadığı için de. Literatürden kendi araştırmana geçerken eksik olanı saymak yetmiyor; onun neden önemli olduğunu, neden şimdi ve neden senin sorman gerektiğini kurman gerekiyor. Bu geçişi, araştırma boşluğu ile araştırma gerekçesi arasındaki farkı, sıradaki ders açıyor.