Tekrarlanabilirlik, yeniden üretilebilirlik ve sağlamlık

Açılış sahnesi

Makalesi yayımlandıktan birkaç ay sonra öğrenciye başka bir üniversiteden bir doktora öğrencisi yazıyor. Kendi tezinde benzer bir soru çalışıyor ve makaledeki temel tabloyu yeniden elde etmek için veriyi ve çözümleme dosyalarını istiyor. Öğrenci dosyaları gönderiyor, bir hafta sonra kısa bir cevap geliyor: tablodaki sayıların çoğu tutuyor, ama bir satır tutmuyor.

Öğrenci geceyi kendi dosyalarını karıştırarak geçiriyor. Sonunda nedeni buluyor. Tezin son haftasında, bakım saatleri sorusuna cevap vermeyen birkaç kadını çözümlemeden çıkarmaya karar vermiş, ama bu kararı yalnız bir tabloda uygulamış, kodun ilgili satırını da kaydetmemiş. Fark bulguyu değiştirmiyor, ama başka biri aynı veriden aynı sayıyı çıkaramıyor. Öğrenci bir şey daha düşünüyor. O birkaç kadını çıkarmak yerine bıraksaydı, ya da bakım saatini biraz farklı tanımlasaydı, bulgunun yönü değişir miydi? Ve başka bir kentte, yeni bir örneklemle aynı soruyu soran biri, aynı ilişkiyi bulur muydu?

Bu derste ne olacak

Gelen e-posta, tutmayan satır ve kaydedilmemiş karar kurgu. Bir bulgunun başkaları tarafından yeniden elde edilip edilemediği, farklı çözümleme kararlarına ne kadar dayanıklı olduğu ve yeni verilerle tekrarlanıp tekrarlanmadığı ise son yıllarda sosyal bilimlerin kendi güvenilirliğini sorguladığı tartışmanın merkezindedir.

Araştırma tasarımı kursunda yeniden üretilebilirlik, aynı veriye aynı analiz adımları uygulandığında aynı sonuca ulaşılabilmesi olarak tanımlanmış ve ön kayıtla birlikte ele alınmıştı. Bu ders o tanımı iki kardeş kavramla birlikte düşünüyor. Aynı veri ve aynı adımlarla yeniden elde etmek, aynı veriyle farklı makul adımlarla sınamak ve yeni veriyle aynı soruyu yeniden sormak birbirinden nasıl ayrılır ve her biri bir bulgunun güvenilirliği hakkında ne söyler, dersin konusu bu.

Sıfır noktası — Üç ayrı sınama

Bir bulgunun güvenilir olup olmadığını sormak, aslında birbirinden ayrı üç soruyu sormaktır. Birincisi, yazarın bildirdiği sayılar yazarın verisinden ve adımlarından gerçekten çıkıyor mu? İkincisi, aynı veriye başka makul adımlar uygulansa aynı sonuç çıkar mı? Üçüncüsü, aynı soru yeni bir veriyle sorulsa aynı sonuç bulunur mu?

Birinci soru, araştırma tasarımı kursunda tanımlanan yeniden üretilebilirliğin sorusudur. Bu soru bulgunun doğruluğunu değil, raporun dürüstlüğünü ve kaydın eksiksizliğini sınar. Yeniden üretilemeyen bir bulgu yanlış olmayabilir, ama doğruluğu başkaları tarafından denetlenemez.

Mekanizma — Aynı veri, farklı yollar ve yeni veri

İkinci soru, bir bulgunun çözümleme kararlarına ne kadar bağlı olduğunu sorar. Her nicel çözümleme bir dizi karar gerektirir: eksik değerlerle ne yapılacağı, bir değişkenin nasıl tanımlanacağı, hangi kontrol değişkenlerinin ekleneceği, aykırı değerlerin tutulup tutulmayacağı. Bu kararların çoğunun tek bir doğru cevabı yoktur. Birden fazla makul seçenek vardır.

Sağlamlık analizi tek tek alternatiflerle sınırlı kalmayabilir. Makul kararların hepsini birlikte düşünüp bütün olası birleşimlerini denemek, bulgunun ne kadar geniş bir karar uzayında ayakta kaldığını gösterir.

Çözümleme kararlarının etkisini görmenin bir başka yolu, aynı veriyi birbirinden bağımsız çalışan birçok araştırmacıya vermektir.

Üçüncü soru, bir bulgunun yeni verilerle ortaya çıkıp çıkmadığını sorar. Bu, bulgunun bir örneklemin rastlantısı mı, yoksa bir toplumsal düzenlilik mi olduğunu sınamanın en doğrudan yoludur.

Tekrarlama çalışmaları, ilk araştırmaya ne kadar sadık kaldıklarına göre ikiye ayrılır.

Kuramsal mercekler

Kursun başında tanıtılan dört tutum, tekrarlama meselesine farklı ağırlıklar verir. Pozitivist gelenek için tekrarlanabilirlik bilimsel bilginin temel ölçütüdür. Bir bulgu tekrarlanamıyorsa bilgi sayılmaz. Yorumcu gelenek ise toplumsal dünyanın bağlama ve zamana bağlı olduğunu, dolayısıyla birebir tekrarlamanın hem mümkün hem de her zaman anlamlı olmadığını vurgular. Aynı mahallede on yıl sonra yapılan bir etnografi, farklı bulgular verirse bu bir başarısızlık değil, mahallenin değiştiğinin kanıtı olabilir.

Ölçek

Tekrarlama sorunu, tek bir çalışmanın ölçeğinde ve bir disiplinin ölçeğinde farklı biçimler alır. Tek bir çalışmada yeniden üretilebilirlik, kayıt tutma ve kod paylaşma disiplinine bağlıdır. Bir disiplinin ölçeğinde ise tekrarlama çalışmalarının ne kadar yapıldığı, dergilerin bu çalışmaları yayımlamaya ne kadar istekli olduğu ve araştırmacıların tekrarlama yapmaya hangi teşviklerle yöneldiği belirleyicidir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de sosyolojik araştırmalarda veri ve çözümleme kodlarının paylaşılması henüz yaygın bir alışkanlık değildir ve tekrarlama çalışmaları sınırlı sayıda kalmaktadır. Buna karşın Türkiye İstatistik Kurumu'nun araştırmacılara sunduğu mikro veri setleri, aynı verinin farklı araştırmacılar tarafından çözümlenmesine ve bulguların karşılaştırılmasına olanak tanır. Uluslararası karşılaştırmada ise bazı dergiler makalelerin yayımlanması için veri ve kodun paylaşılmasını koşul olarak arar ve yeniden üretilebilirliği hakem sürecinin bir parçası yapar.

Bu bilgiyi nasıl biliyoruz?

Bir bulgunun sağlam ve tekrarlanabilir olup olmadığını, tam da bu dersteki sınamalarla biliyoruz: verinin ve kodun paylaşılıp başkaları tarafından yeniden çalıştırılmasıyla, makul alternatif kararların sistematik olarak denenmesiyle ve aynı sorunun yeni verilerle yeniden sorulmasıyla. Bu sınamaların hiçbiri tek başına bir bulgunun doğruluğunu kanıtlamaz. Birlikte, bulgunun ne kadar güvenilir olduğuna dair birikimli bir kanıt oluştururlar.

Yaygın hatalar

Aklında kalsın

1. Yeniden üretilebilirlik aynı veri ve aynı adımlarla aynı sonuca ulaşılabilmesidir.
2. Sağlamlık analizi bulgunun makul alternatif çözümleme kararlarına dayanıklılığını sınar.
3. Çok evrenli analiz bütün makul karar birleşimlerini uygulayıp sonuçların dağılımını raporlar.
4. Tekrarlanabilirlik bulgunun yeni verilerle yeniden elde edilebilmesidir.
5. Doğrudan tekrarlama yöntemi aynen izler, kavramsal tekrarlama iddiayı farklı yöntemlerle sınar.
6. Başarısız bir tekrarlama her zaman ilk çalışmanın yanlışlığını değil, bazen bağlamın değişimini gösterir.
7. Yeniden üretilebilirliğin ilk sınayıcısı, dosyayı yazandan başka biri olmalıdır.

Sonraki derse köprü

Açık Bilim İşbirliği'nin tekrarlama projesi ve çok sayıda ekibin aynı veriden farklı sonuçlara ulaştığı çalışma, rahatsız edici bir soruyu gündeme getiriyor: yayımlanmış bulguların bu kadar önemli bir kısmı neden tekrarlanamıyor? Cevabın bir kısmı bulguların yayımlanma biçiminde yatıyor. Anlamlı sonuç bulan çalışmalar yayımlanırken anlamsız sonuç bulanlar çekmecede kalabiliyor. Araştırmacılar anlamlı bir sonuç bulana kadar çözümleme kararlarını farkında olarak ya da olmadan değiştirebiliyor. Bazen de veriye bakıldıktan sonra kurulan hipotezler, sanki baştan beri beklenmiş gibi yazılıyor. Yayın yanlılığı, p-hacking ve sonuçlar bilindikten sonra hipotez kurmak, bir alanın literatürünü sistematik biçimde çarpıtan üç süreç olarak incelenmeyi bekliyor.