Ön kayıt, açık veri, açık materyal ve yeniden üretilebilirlik

Açılış sahnesi

Önceki derste dürüstlüğün, sonunda araştırmacının iç sesine ve bir kurulun tek seferlik onayına dayandığını gördük. Kararlar ve veri başkalarına görünür olsaydı, uydurma ile çarpıtma çok daha zor olurdu. Ama bu görünürlük çoğu zaman mahremiyetle çatışır; tam bu gerilimin ortasında geçen bir sahneyle başlayalım.

Bir sosyolog, yerel seçimlerde oy verme davranışı üzerine yürüttüğü bir anket çalışmasını yayımlamış: kentteki gençlerin, yaşlı kuşağa göre muhalefete daha fazla yöneldiğini bulmuş. Bir süre sonra başka bir üniversiteden bir araştırmacı ona yazıp aynı sonucu kendi verisiyle bulamadığını söylemiş ve analiz kodunu, ham veriyi paylaşmasını istemiş. Sosyolog dosyaları bulmakta zorlanmış. Eski bir dizüstü bilgisayarın içinde, klasör adları "son hali", "son son düzeltilmiş" gibi birbirine karışmış isimlerle duruyormuş. Dosyaları bulup analizi yeniden çalıştırdığında, makaledeki tablo ekranda çıkmamış. Aradan geçen sürede bir kategoriyi birleştirmiş, ama bu kararı hiçbir yere not etmemiş; kendisi bile artık hangi gerekçeyle yaptığını tam hatırlamıyormuş. Veriyi paylaşmayı istiyor ama tereddüt ediyor: anketin yapıldığı mahallelerde bazı katılımcılar oy tercihlerini oldukça açık biçimde söylemiş, ilçe, yaş ve meslek bilgisi bir araya gelince bazı kişilerin tanınabileceğinden korkuyor. Tam bu günlerde başka bir ekip, benzer bir araştırmaya başlamadan önce hipotezlerini ve analiz planını tarihli bir kayda geçirmiş. Sonuçlar beklediklerinin tam tersi çıktığında bile planı sonradan değiştirmediklerini gösterebiliyorlar. Kayıt, kimsenin sözüne güvenmesine gerek bırakmadan bunu kanıtlıyor.

Bu derste ne olacak

Az önce okuduğun sahne, sosyoloji literatüründe gerçekleşmiş belirli bir vakanın aktarımı değil; bu dersin beş fikrini tek bir olay örgüsünde bir araya getirmek için tarafımdan yazılmış bir kurgu metnidir. Sosyoloğun eski bilgisayarındaki kayıp klasörler ile ikinci ekibin tarihli planı, aynı sorunun iki farklı ucunu gösteriyor: biri görünürlüğün yokluğunda neyin kaybolduğunu, öbürü görünürlüğün ne kazandırdığını. Bu derste dört kavramı birbirine bağlayarak işleyeceğiz: araştırma planının veri toplanmadan önce kayda geçirilmesi, verinin başkalarına açılması, veri dışındaki araçların paylaşılması ve aynı adımların aynı sonucu vermesi. Bunlara ek olarak, açıklığın mahremiyetle nerede çatıştığını ve bu çatışmaya hangi ara çözümlerin bulunduğunu göreceğiz. Sonunda bu dört pratiğin bedelsiz olmadığını, herkesin aynı kolaylıkla açık davranamayacağını da konuşacağız.

Sıfır noktası — Görünürlük öncesi araştırma

Uzun süre boyunca sosyolojide bir araştırmanın iç mutfağı kimsenin göremeyeceği bir yerdeydi. Hangi değişkenin dışarıda bırakıldığı, hangi modelin önce denenip beğenilmediği için terk edildiği, hangi kategorinin son anda birleştirildiği yalnızca araştırmacının kendi belleğinde ya da dağınık notlarında kalıyordu. Yayımlanan makale bu sürecin yalnızca son durağıydı; okuyucunun önünde duran, cilalanmış bir sonuçtu. Değerlendirme süreci de aynı sınırın içinde kalıyordu: hakemler genellikle yazılan metni okuyordu, veriye ya da koda erişmiyordu. Bu düzende kasıtlı bir çarpıtma ile kasıtsız bir dalgınlık, genellikle aynı görünmezliğin arkasına gizleniyordu. İkisini ayırt etmek ancak birileri aynı veriyi başka bir gözle incelediğinde mümkün oluyordu. Sıfır noktası budur: kararların büyük kısmı görünmezken, güven büyük ölçüde araştırmacının sözüne dayanıyordu. Ön kayıt, açık veri, açık materyal ve yeniden üretilebilirlik talebi, bu görünmezliğe verilmiş dört ayrı yanıt olarak ortaya çıktı; her biri sürecin farklı bir anını kayda alıyor.

Mekanizma — Kaydın zorladığı disiplin

Sosyoloğun az önceki hikâyesinde asıl kırılma noktası, birleştirilen kategorinin kendisi değildi. Sorun, bu kararın hiçbir yere yazılmamış olmasıydı. Karar yanlış ya da art niyetli olmayabilirdi; mesele, başka birinin bu kararı görüp sorgulayamamasıydı. Yöntemin mantığı dersinde gördüğümüz ön sabitleme fikri, burada ön kayıt olarak kurumsallaşmış hâliyle karşımıza çıkıyor.

Ön kaydın asıl işlevi, araştırmacının sonucu gördükten sonra soruyu, örneklemi ya da analiz yöntemini sessizce değiştirebilmesini sınırlamaktır. Bu, keşfedici araştırmayı yasaklamaz; beklenmedik bir örüntüyü fark edip peşinden gitmek, araştırma sürecinin sık karşılaşılan bir parçasıdır. Talep edilen, keşfedici bulgu ile önceden planlanmış doğrulayıcı bulgunun ayrı etiketlenmesidir: biri yeni bir soru üretir, öbürü var olan bir soruyu sınar. Nitel araştırmada ve saha çalışmasında bu ayrımın nasıl uygulanacağı tartışmalıdır; soru genellikle sahada şekillenir ve önceden sabitlenmiş bir plan bazen esnekliği araştırmacının elinden alır. Bazı nitel araştırmacılar bu yüzden ön kaydı olduğu gibi değil, uyarlanmış biçimde kullanır: sabit hipotez yerine hangi soruların sorulacağını ve hangi ölçütle karar verileceğini önceden yazarlar.

Kararların görünür olması tek başına yeterli değildir; kararların üzerine kurulduğu verinin de incelenebilir olması gerekir.

Veri açılamadığında bile araştırmanın başka bir katmanı çoğu zaman açılabilir.

Materyalin ve verinin açık olması, aynı sonucun yeniden elde edilebilmesi için gerekli zemini hazırlar.

Açık veri ile açık materyal arasında kalan, ne tam açılabilen ne de tamamen kapatılması gereken bir orta bölge de vardır.

Mekanizmanın son bir yönü daha var: açık bilim gerektirdiği zaman, beceri ve altyapı bedelsiz değildir. Veriyi düzenlemek, belgelemek, güvenli biçimde paylaşılabilir hale getirmek zaman alır; bu zamana sahip olmak iyi donanımlı kurumlarda ve kalabalık ekiplerde daha kolaydır. Açıklığı herkesten aynı ölçüde beklemek, bu farkı görmezden gelmek anlamına gelir.

Kuramsal mercekler

Aynı tartışmaya farklı disiplinler farklı yerlerden yaklaşır. Bilgi sosyolojisi açısından açıklık, bilimin güvenilirliğinin nereden geldiği sorusuna verilen bir yanıttır: bilgi, tek bir kişinin sözüne değil, başkalarının denetleyebildiği bir sürece dayandığında güven kazanır. Yöntem tartışmalarında vurgu biraz kayar; burada asıl mesele, bir iddianın bilimsel sayılabilmesi için en azından ilkece sınanabilir olması gerektiğidir. Kapalı kalan bir analiz, doğru olsa bile bu asgari şartı karşılamaz.

Kurumsal güç ilişkilerine odaklanıldığında soru değişir: açık bilim kuralları kimin üzerine daha ağır düşüyor? Dergi ya da fon veren bir kurum açıklığı zorunlu koştuğunda, bunu karşılamak için gereken zamana ve altyapıya sahip olmayan araştırmacı dezavantajlı kalır. İlişkisel bilgi yaklaşımı ise açıklığın evrensel bir iyi olarak sunulmasına temkinli yaklaşır. Bir görüşmede kurulan güven karşılıklı ve bağlama özgüdür; bu güvenle toplanan veriyi bağlamından koparıp herkese açmak, katılımcıyla kurulan örtük anlaşmayı bozabilir. Dört yaklaşım da sonunda aynı soruya varır: açıklık kimin lehine işliyor, bedelini kim ödüyor?

Ölçek

Açık bilimi tek bir ölçekte düşünmek yanıltıcıdır; açıklığın kime yaradığı, bakılan yere göre değişir. Paylaşılan bir veri seti, önce tek bir araştırmacının kendi hatasını fark etmesine yarar: yukarıdaki örnekte olduğu gibi, birleştirilen bir kategori ancak başka biri aynı veriye bakınca ortaya çıkar. Aynı paylaşım, biraz genişleyince bir alanın birikmiş bilgisini sınamasına da yarar; birbirinden bağımsız çalışmaların aynı yönde mi yoksa çelişik mi sonuç verdiğini görmek, tek bir makaleden çıkarılamaz. Daha geniş bir çerçevede ise açıklık, kamuoyunun bilime duyduğu güvenle ilgilidir: araştırma süreci görünür olduğunda, bilimsel bilginin nasıl üretildiği yalnızca uzmanlar arasında kalan bir sır olmaktan çıkar. Bu üç düzey birbirini dışlamaz, ama hangi düzeyin öncelikli olduğu kararı genellikle araştırmacının elinde değildir.

Kararı çoğu zaman dergi ya da fon veren kurum verir; bazı durumlarda ise sınırı katılımcının onam formunda verdiği izin çizer. Açıklığın maliyeti bu üç aktör arasında eşit dağılmaz; bir yüksek lisans öğrencisinin tek başına taşıdığı yük ile kalabalık bir ekibin paylaştığı yük aynı ölçekte değildir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de bu tartışmanın yürüdüğü zemin birkaç noktada farklılaşıyor. Kamu kurumlarının topladığı araştırma verisinin araştırmacılara hangi koşulla açılacağı çoğu zaman belirsiz; başvuru süreçleri uzun ve sonucu önceden kestirilemiyor, bu da birçok araştırmacıyı veriyi baştan istemekten caydırıyor. Lisansüstü tezlerde de verinin ve analiz kodunun arşivlenmesi henüz yaygın bir beklenti değil; tez tesliminde metin isteniyor, ama verinin nerede durduğu genellikle sorulmuyor. Siyasal ve toplumsal açıdan hassas konularda çalışan katılımcıların verilerinin paylaşılmasına çekinceyle yaklaşması da anlaşılır bir tepki. Oy tercihi, dinî inanç ya da göç geçmişi gibi konularda anlatılanların iz bırakması, kişiyi güçlük içine sokabilir.

Ön kayıt uygulaması ise Türkiye'deki sosyal bilim ortamında henüz az biliniyor; deneysel psikoloji dışındaki alanlarda bunu duyan araştırmacı sayısı sınırlı. Bu tabloyu, veri arşivlerinin ve ön kayıt sistemlerinin kurumsallaştığı, fon veren kurumların başvuru aşamasında bir veri paylaşım planı istediği bağlamlarla karşılaştırmak öğretici. Böyle yerlerde araştırmacı, veriyi nasıl saklayacağını ve kimle paylaşacağını çalışmaya başlamadan önce yazılı biçimde belirtmek zorunda kalıyor; bu da açıklığı sona bırakılan bir seçim olmaktan çıkarıp sürecin baştan bir parçası hâline getiriyor. Türkiye'de bu adımın henüz kurumsal bir zorunluluk olmaması, açıklığı büyük ölçüde tek tek araştırmacının inisiyatifine bırakıyor.

Bu bilgiyi nasıl biliyoruz?

Bu derste anlatılanların kaynağı tek bir yerden gelmiyor; farklı türde gözlemler birbirini destekliyor.

Bu üç gözlem türü birlikte okunduğunda, ön kaydın, açık verinin ve yeniden üretilebilirlik denetiminin uydurma bir ideal değil, ölçülebilir bir fark yarattığı görülüyor.

Yaygın hatalar

Aklında kalsın

1. Ön kayıt, planın değişmesini değil, değişikliğin gizlenmesini engeller.
2. Açık veri her zaman mümkün değildir; katılımcının mahremiyeti veriden önce gelir.
3. Açık materyal, veri kapalı kalsa bile çoğu zaman paylaşılabilir.
4. Yeniden üretilebilirlik aynı veriden aynı sonucu almaktır, doğruluğun kanıtı değildir.
5. Kontrollü erişim, açıklık ile mahremiyet arasında üçüncü bir yoldur.
6. Açık bilimin bedeli eşit dağılmaz; zaman ve altyapısı olmayan araştırmacı geride kalır.
7. Görünürlük, kasıtsız hatayı da kasıtlı çarpıtmayı da bulunabilir kılar.

Sonraki derse köprü

Bu derste, veriyi kime ve hangi koşulla açacağına araştırmacının kendi kararıyla karar verdiği durumları işledik: planı önceden kayda geçirmek, veriyi ya da araçları paylaşmak, erişimi koşula bağlamak — hepsi bilinçli bir seçimin izini taşıyor. Ama veri her zaman böyle bir seçimden geçerek dışarı çıkmıyor. Bir görüşme dökümünü özetletmek için bir yapay zekâ aracına yapıştırmak, bir çeviri hizmetine göndermek ya da bir yazım denetleyicisine yüklemek, çoğu zaman kimsenin fark etmediği bir paylaşımdır. Katılımcı onam formunu imzaladığında, sözlerinin böyle bir araca gideceğini büyük ihtimalle öngörmemişti. Sıradaki ders, araştırmacının elinde olmayan ya da fark etmeden verdiği bu tür paylaşımları konu edinecek.