Yanlılık ve karşılaştırmalar

Açılış sahnesi

Bir düşünce deneyi yapalım.

Diyelim ki bir uygulamanın hiçbir etkisi yok. Tamamen etkisiz.

Şimdi bu uygulama üzerine yirmi çalışma yapılsın, hepsi küçük örneklemli.

İstatistiğin doğası gereği bu yirmi çalışmanın birkaçında tesadüfen olumlu sonuç çıkacak. Geri kalanında bir şey çıkmayacak.

Sonra ne olur?

Olumlu sonuç çıkan çalışmalar yazılır, dergiye gönderilir ve kabul edilir. Sonuç çıkmayanlar çoğu zaman yazılmaz bile — yazılsa da yayımlanma şansı düşüktür.

Beş yıl sonra literatüre bakan biri şunu görür: bu uygulama üzerine yapılan çalışmaların çoğu olumlu sonuç bildiriyor.

Oysa hiçbir etki yoktu.

Bu senaryo abartılı bir kurgu değil; yayın yanlılığının nasıl çalıştığının tarifi. Ve dikkat edin: bu süreçte kimse yalan söylemedi, veri uydurmadı, hile yapmadı.

Yanlılık, dürüst araştırmada da çalışır. Bu ders, nerelerden sızdığını gösteriyor.

Bu derste ne olacak

Önce üç yanlılık türünü ayıracağız: kimin çalışmaya girdiği, hangi çalışmanın yayımlandığı ve hangi sonucun raporlandığı. Sonra karşılaştırma grubu meselesini derinleştireceğiz — Seviye 6 boyunca defalarca değindiğimiz konunun teknik hâli. Ardından körleme sorununu ele alacağız ve bu alanda neden çözülemediğini göreceğiz. Sonra iki bağlılık türünü konuşacağız: eğitmenin programa bağlılığı ve araştırmacının yönteme bağlılığı. En sonda da yanlılığa karşı geliştirilmiş yapısal önlemleri sıralayacağız.

Ders bittiğinde bir çalışmada yanlılığın hangi noktadan sızabileceğini gösterebiliyor, karşılaştırma grubunun sonucu nasıl belirlediğini açıklayabiliyor ve bir literatürün bütününe bakarken eksik olanı sorabiliyor olacaksınız.

Sıfır noktası

Bir ağ ile balık tuttuğunuzu düşünün.

Ağın gözleri beş santimetre. Akşam yakaladıklarınıza bakıp şu sonuca varıyorsunuz: bu gölde beş santimetreden küçük balık yok.

Sonuç veriden çıkıyor ve yanlış.

Çünkü ölçüm aracınız neyi yakalayacağınızı baştan belirledi.

Bu tanımdaki son cümle önemli. Yanlılık, örneklem büyütülerek çözülmez. Yanlı bir yöntemle bin kişi ölçmek, yanlı bir sonucu daha kesin hâle getirir.

Ağ benzetmesinin zayıf tarafı şu: orada ağın göz açıklığını görebilirsiniz. Araştırmada yanlılığın çoğu görünmez — makalede yazmayan şeylerden kaynaklanır. Bu yüzden bu dersteki soruların çoğu "ne yazıyor" değil, "ne yazmıyor" biçiminde.

Mekanizma

Üç yanlılık, üç ayrı aşama

Birincisi: kimin çalışmaya girdiği.

Bu alanda özellikle güçlü çalışıyor. Bir meditasyon çalışmasına gönüllü olan kişi, meditasyona zaten ilgili ve olumlu bakan kişidir.

Aynı çalışmanın sonucu, ilgisiz bir topluluğa taşınamaz.

Dışlama ölçütleri de aynı yönde çalışır: ciddi ruh sağlığı sorunu olanlar genellikle çalışmalara alınmaz. Bu, katılımcı güvenliği için doğru bir karardır ama bir sonuç doğurur — o gruba dair veri hiç üretilmez ve program yine de onlara sunulur.

İkincisi: hangi çalışmanın yayımlandığı.

Açılıştaki senaryo bunun tarifi.

Bu yanlılığın izini sürmenin yolları var: çalışmaların etki büyüklüğü ile örneklem büyüklüğü arasındaki ilişkiye bakılır. Küçük çalışmalarda sistematik olarak büyük etkiler görülüyorsa, bu bir uyarı işaretidir.

Üçüncüsü: hangi sonucun raporlandığı.

S7-M01'de ön kaydın neden geliştiğini konuşmuştuk. Sebep tam olarak bu.

Bu üçü birbirini besliyor: seçilmiş katılımcılarla yapılan, seçilmiş sonuçları raporlayan ve seçilerek yayımlanan çalışmalardan oluşan bir literatür.

Karşılaştırma grubu: sonucu belirleyen seçim

Seviye 6 boyunca bu konuya defalarca döndük. Şimdi tam listeyi çıkaralım.

Hiçbir şey yapmayan grup. En zayıf karşılaştırma. Zamanın geçmesi, ölçüme alışma ve doğal iyileşme bu grupta da çalışır ama katılımcının hiçbir beklentisi yoktur.

Bekleme listesi. Yaygın kullanılan ama sorunlu. Bekleyen kişi, bir şey almadığını bilir ve bazen durumu daha kötü bildirir — çünkü bir çözüm beklerken beklemektedir.

Etkin olmayan karşılaştırma. Katılımcının bir şey aldığını düşündüğü ama etkisiz olduğu varsayılan bir koşul. Psikolojik müdahalelerde bunu kurmak çok zordur.

Aktif karşılaştırma. Aynı süre, aynı grup ortamı, aynı öğretmen ilgisi ve benzer ev ödevi içeren farklı bir program. En bilgilendirici olanı — ve S6-M01'de gördüğümüz gibi etkileri en çok küçülten.

Mevcut tedavi. Alanın standardıyla karşılaştırma. En zorlu ama karar vermek için en gerekli olan.

Bu beş seçenek beş farklı soruya cevap veriyor. Bir çalışmanın sonucunu okurken hangi soruya cevap verdiğini bilmek, sonucun kendisinden daha önemli.

Körleme: çözülemeyen sorun

Bu, bu alanın yapısal sınırı. Kimse sekiz haftalık bir programa katıldığını fark etmeden katılamaz.

Sonucu şu: beklenti etkisi hiçbir zaman tamamen dışarıda bırakılamıyor.

Ama iki kısmi çözüm var.

Birincisi: değerlendiriciyi körlemek. Sonucu ölçen kişi, katılımcının hangi grupta olduğunu bilmesin. Bu mümkün ve yapılıyor — ama yalnızca dışarıdan değerlendirme yapıldığında. Öz bildirim ölçeklerinde çalışmıyor.

İkincisi: beklentiyi ölçmek. Katılımcılara programın işe yarayacağını ne kadar düşündüklerini sormak ve bunu analize katmak. Basit ve etkili bir önlem, ama nadiren yapılıyor.

İki bağlılık

Son mekanizma bölümü ve iki farklı şeyi ayırıyor.

Bir çalışmada program adı yazılıdır ama gerçekte ne yapıldığı çoğu zaman raporlanmaz. S6-M01'de bu boşluğu görmüştük.

İkinci bağlılık farklı bir şey.

S7-M01'de bu konuya girmiştik. Burada eklenecek şey, bunun bir ahlak sorunu olarak değil bir yapı sorunu olarak ele alınması gerektiği.

Çözüm, bağlı araştırmacıları alandan çıkarmak değil — onlar alanı en iyi bilenler. Çözüm, bağımsız ekiplerin aynı soruyu tekrar sorması.

Yapısal önlemler

Yanlılık kişisel dikkatle çözülmüyor. Yapısal önlemler var ve bir makalede varlıkları güven işaretidir.

Ön kayıt: hipotez ve birincil sonuç ölçütü önceden ilan edilir.

Kayıtlı rapor formatı: makale, veri toplanmadan önce hakem değerlendirmesinden geçer ve sonucu ne olursa olsun yayımlanır. Bu, yayın yanlılığını doğrudan hedefler.

Veri ve analiz kodunun paylaşılması: başkalarının aynı veriyi yeniden analiz edebilmesi.

Bağımsız tekrarlama: aynı soruyu farklı bir ekibin sorması.

Çıkar beyanı: finansman kaynağı ve ticari bağların açıkça yazılması.

Bir makalede bu beşinden kaçının bulunduğuna bakmak, sonucu okumadan önce yapılabilecek en hızlı değerlendirmedir.

Örneklerden okuma

Ağın gözü

Küçük çalışmaların büyük etkileri

Bekleme listesinin payı

Beklentinin ölçülmesi

Usta katmanı

Üç ileri not.

Birincisi: yanlılık ile hile arasındaki farkı korumak önemli. Bu derste anlatılan mekanizmaların hiçbiri sahtekârlık gerektirmiyor. Yayın kararları, dergi tercihleri, akademik teşvikler ve insan zihninin hikâye kurma eğilimi yeterli. Bu ayrımı kaybeden bir okuma, alanı topluca suçlamaya kayar ve işe yaramaz hâle gelir.

İkincisi: bu alanda yanlılık tartışmasının kendisi de yanlı olabilir. Alanı eleştiren araştırmacıların da bir konumu var ve sert eleştiri de dikkat çekiyor. Doğru tutum, iki tarafın da argümanlarını aynı ölçütlerle değerlendirmek.

Üçüncüsü: en güçlü yapısal önlem muhtemelen kayıtlı rapor formatı. Çünkü diğerlerinin hepsi olumlu sonuç baskısını azaltıyor; bu format ise ortadan kaldırıyor — makale, sonucu ne olursa olsun yayımlanacağı garantisiyle kabul ediliyor. Bu alanda bu formatın kullanımı henüz çok sınırlı.

Yaygın hatalar ve yanlış bilinenler

Sınırlar

Bu dersteki araçlar bir çalışmayı ya da alanı reddetmek için değil, bulguları ağırlıklandırmak için.

Yanlılık tespiti bir sonuç değildir: "bu çalışmada seçim yanlılığı olabilir" cümlesi, sonucun yanlış olduğunu göstermez, belirsizliği artırır.

Bu araçları bir tartışmada karşı tarafı susturmak için kullanmak, dersin amacının tersi. Aynı ölçütleri kendi katıldığınız bulgulara da uygulamıyorsanız, eleştirel okuma yapmıyorsunuz demektir — yalnızca seçici davranıyorsunuz.

Ve tıbbi sınır değişmedi: hiçbir yanlılık tartışması, bir tedaviyi bırakma ya da değiştirme kararının gerekçesi olamaz.

Uygulamalı çalışma

Bir makale ya da özet alın ve yedi soruyu sırayla sorun. Bu, bir makalenin yanlılık haritasını çıkarmanın hızlı yolu.

Bir. Katılımcılar nasıl toplandı — ilan mı, yönlendirme mi, zorunlu katılım mı?

İki. Kimler dışlandı ve bu dışlama sonucun genellenmesini nasıl sınırlıyor?

Üç. Karşılaştırma grubu ne aldı? Beş seçenekten hangisi?

Dört. Sonucu kim ölçtü — katılımcı mı, bağımsız bir değerlendirici mi? Değerlendirici körlendi mi?

Beş. Beklenti ölçüldü mü?

Altı. Çalışma ön kayıtlı mı ve birincil sonuç ölçütü kayıtla uyuşuyor mu?

Yedi. Finansman kaynağı ve çıkar beyanı yazılı mı? Çalışmayı yürüten ekip programın geliştiricisi mi?

Yedi sorunun cevabını yazın ve sonunda tek bir cümle kurun: bu çalışmanın sonucu hangi yönde sapmış olabilir?

Bu son cümle bir suçlama değil, bir tahmin. Ve genellikle sapmanın yönü tahmin edilebilir oluyor — bu da bir bulgudur.

Kendin dene

Kilit özet

Birincisi: yanlılık yönlü bir sapmadır ve örneklem büyütülerek çözülmez — büyük bir yanlı çalışma, yanlı sonucu yalnızca daha kesin gösterir.

İkincisi: üç yanlılık üç ayrı aşamada çalışır — kimin çalışmaya girdiği, hangi çalışmanın yayımlandığı ve hangi sonucun raporlandığı.

Üçüncüsü: karşılaştırma grubu seçimi sonucu doğrudan belirler; bekleme listesiyle yapılan karşılaştırmalar etkileri tekniğe yanlış biçimde atfeder.

Dördüncüsü: bu alanda katılımcı körlemesi imkânsızdır ama iki kısmi önlem vardır — değerlendirici körlemesi ve beklentinin ölçülmesi — ve ikisi de yeterince uygulanmıyor.

Beşincisi: yanlılık kötü niyet gerektirmez; çözümü de bireysel dikkat değil, ön kayıt, kayıtlı rapor formatı, veri paylaşımı, bağımsız tekrarlama ve çıkar beyanı gibi yapısal önlemlerdir.

Sonraki derse köprü

Bu derste yanlılığın nereden sızdığını gördük. Şimdi bu bilgiyi tek bir yerde birleştirme zamanı.

Bir sonraki ders bir laboratuvar dersi: elinize gerçek bir makale alacaksınız ve baştan sona okuyacaksınız.

Özeti parçalamak, yöntem bölümünü kontrol listesiyle taramak, sonuç tablosunu okumak, yazarın yorumunu veriden ayırmak ve son olarak o makale hakkında yazılmış bir haberi asıl metinle karşılaştırmak.

Bu, Seviye 7'nin uygulama dersi ve önceki dört dersteki her aracı aynı anda kullanacaksınız.

Bir sonraki ders olan S7-M05 makale okuma laboratuvarını ele alıyor: özeti parçalamayı, yöntem kontrol listesini, sonuç tablosu okumayı, yazar yorumunu veriden ayırmayı ve basın haberini asıl makaleyle karşılaştırmayı.