Araştırma okuryazarlığı: RCT, meta-analiz, psikometri, yanlılık ve zararlar

Açılış sahnesi

Kaan, Gaziantep'teki toplum merkezinin müdürü; Aslı'nın çalıştığı yer. Sabah masasında renkli bir broşür buluyor. Yeni bir "beden odaklı travma programı" merkezde ücretsiz grup çalışmaları yapmayı teklif ediyor. Kapakta büyük harflerle şu yazıyor: "Bilimsel araştırmalarla desteklenmiştir. Katılımcılarımızın yüzde seksenden fazlası iyileşme bildirdi."

Kaan etkileniyor. Bir sayı var, bir de "bilimsel" kelimesi. Merkezde bekleme listesi uzun, ücretsiz bir program çok işe yarayabilir. Ama Aslı'nın geçen hafta grupta verdiği kararları hatırlıyor ve teklifi kabul etmeden önce program sorumlusuna dört soru yazmaya karar veriyor.

Kaan kurgusal bir karakter. Bu derste onun dört sorusunu ve gelen cevapları birlikte okuyacağız. Sayının yanlış olup olmadığına bakmayacağız; sayının ne kadar yük taşıyabildiğine bakacağız.

Bu derste ne olacak

Önce bir araştırmanın gücünü belirleyen temel soruları öğreneceğiz: kaç kişi, neyle karşılaştırılmış, kaç kişi yarıda bırakmış, kim ölçmüş? Sonra farklı araştırma türlerini tanıyacağız: tek bir grubu izleyen çalışmalar, rastgele gruplara ayıran çalışmalar ve birçok çalışmayı birleştiren analizler. Ardından ölçeklerin kendisinin nasıl sınandığına bakacağız. En sonda da bu dersin en az konuşulan konusuna geleceğiz: zararların neden çoğu zaman hiç sorulmadığına.

Bu site eğitim amaçlıdır; tanı, kişiye özel tedavi veya acil yardım sunmaz. Travma anılarını tek başınıza canlandırmaya, yoğun nefes çalışmalarıyla değişmiş bilinç hâli oluşturmaya ya da kontrolsüz biçimde titreme başlatmaya çalışmayın. Uygulama sırasında yoğun korku, donakalma, gerçekdışılık, kendine zarar verme düşüncesi, göğüs ağrısı, bayılma, nöbet veya nefes alamama gelişirse uygulamayı bırakın ve uygun profesyonel yardım alın. Yakın ve ciddi tehlike varsa Türkiye'de yüz on iki Acil Çağrı Merkezi aranmalıdır.

Sıfır noktası

Bir restoranın kapısında şu yazıyor: "Müşterilerimizin çoğu yemeklerimizi beğendi." Cümle yanlış olmayabilir. Ama anlamı, birkaç sorunun cevabına göre tamamen değişir. Kaç müşteriye sorulmuş? Beğenmeyenler de soruya cevap vermiş mi, yoksa onlar çoktan başka bir restorana mı gitmiş? Soruyu kim sormuş: bağımsız biri mi, yoksa masaya gelen garson mu? Ve yan masadaki restorana giden insanlar ne diyor?

Bir araştırmanın sayısı da böyledir. Sayı doğru olabilir; ama ne kadar şey söylediği, çevresindeki cevaplara bağlıdır. Bu ders o çevreye bakmayı öğreniyor.

Mekanizma

Kaan'ın dört sorusu ve gelen cevaplar

Kaan'ın program sorumlusuna yazdığı dört soru şunlar: kaç kişi katıldı, karşılaştırma grubu var mıydı, kaç kişi yarıda bıraktı ve iyileşmeyi kim ölçtü?

Birkaç gün sonra cevap geliyor. Programa yirmi kişi başlamış. Karşılaştırma grubu yokmuş. Sekiz kişi yarıda bırakmış. Kalan on iki kişi, programın sonunda kendi doldurdukları bir forma "iyileştim" diye işaretlemiş; on ikinin onu. Broşürdeki sayı yanlış olmuyor. Ama artık aynı şeyi söylemiyor.

Kaan'ın elindeki çalışma bir vaka serisi. Bu tür çalışmalar yeni bir fikrin ilk adımı olarak değerlidir. Ama bir karşılaştırma taşımadıkları için iyileşmenin programdan mı, zamanın geçmesinden mi, ilgi görmekten mi, yoksa beklentiden mi geldiğini ayıramazlar.

Yarıda bırakanlar

Sekiz kişi neden bıraktı? Program sorumlusu bilmiyor. Ama şunu düşün: bir programdan fayda görmeyen, kendini daha kötü hisseden ya da zorlanan kişilerin bırakma ihtimali daha yüksektir. Onlar gidince, sonunda form dolduranlar programdan memnun olanlara doğru kayar. Örneklem kaybı bu yüzden sonucu genellikle iyimser tarafa doğru bozar. Restorandaki beğenmeyen müşterilerin çoktan çıkıp gitmiş olması gibi.

Yirmi kişiden on iyileşme bildirimi, yüzde seksenden fazla değil, yarı yarıya bir tablo olur. Aynı veri, kimin sayıldığına göre bambaşka bir hikâye anlatır.

Karşılaştırmanın gücü

Kura, iki grubu başlangıçta birbirine benzetir. Böylece sonradan çıkan farkın programdan geldiği daha güvenle söylenebilir. Ama her karşılaştırma aynı gücü taşımaz. On ikinci derste Brom ve arkadaşlarının çalışmasını görmüştük: karşılaştırma grubu sırada bekliyordu. Bekleme listesine karşı üstünlük, ilgi, umut ve zamanın etkisini ayıramaz. Güçlü bir karşılaştırma, programı inandırıcı başka bir uygulamayla yarıştırır.

Bir de ölçümün kendisi var. Sonucu kişinin kendisi mi bildiriyor, yoksa hangi gruba ait olduğunu bilmeyen bağımsız bir değerlendirici mi ölçüyor? Kaan'ın programında iyileşmeyi katılımcılar, programın bitiminde, programın kendi formuyla bildirdi.

Anlamlı fark ve hayattaki fark

Bir araştırma "puanlar istatistiksel olarak anlamlı biçimde düştü" diyebilir. Bu, farkın rastlantıyla açıklanmasının zor olduğu anlamına gelir. Ama seksen puanlık bir ölçekte iki puanlık bir düşüş, kişinin uykusunda, işinde ya da ilişkilerinde fark edilir bir değişiklik yaratmayabilir. İstatistiksel anlamlılık ile hayattaki anlam ayrı sorulardır.

Ölçeklerin kendisi

Kaan'ın programı iyileşmeyi kendi hazırladığı bir formla ölçmüş. Peki o form neyi ölçüyor? Bir ölçeğin güvenilir olması, aynı koşullarda tekrar tekrar benzer sonuç vermesi demektir. Geçerli olması ise ölçtüğünü söylediği şeyi gerçekten ölçmesi demektir. Bir form her seferinde aynı sonucu verebilir, ama yanlış şeyi ölçüyor olabilir. Bu iki özellik, bağımsız çalışmalarla sınanmış yerleşik ölçeklerde bilinir; bir programın kendi hazırladığı yeni bir formda ise çoğu zaman bilinmez.

Birçok çalışma bir arada

Broşürün arka yüzünde küçük harflerle şu yazıyor: "Yöntemimizi destekleyen on yayımlanmış çalışma bulunmaktadır."

Meta-analizler bilgiyi toplamanın güçlü bir yolu. Ama bir meta-analiz içine aldığı çalışmalardan daha iyi olamaz. On küçük, karşılaştırmasız çalışmayı birleştirmek, bir güçlü çalışma yerine geçmez.

On olumlu çalışma görmek, tek başına güçlü bir kanıt sayılmaz. Olumsuz sonuç veren çalışmalar çekmecede kalmış olabilir. Çalışma sayısı, kanıtın gücünün ölçüsü olmaz.

Kaynaklardan okuma

On dördüncü derste bu çalışmayı yoganın yararları için okumuştuk. Burada başka bir yüzüne bakıyoruz. Yirmi çalışmanın on dördü, katılımcılara ciddi bir zarar yaşayıp yaşamadıklarını hiç raporlamamış. Bu, o çalışmalarda zarar olmadığı anlamına gelmez; zararlar hiç sorulmamış ya da sorulup raporlanmamış olabilir. Kanıtın yokluğu, zararın yokluğu sayılmaz.

Kaan da program sorumlusuna beşinci bir soru yazıyor: "Katılımcılarda kötüleşme, panik, kopukluk ya da başka bir zarar oldu mu? Bunu nasıl ölçtünüz?" Gelen cevap kısa: "Kimse şikâyet etmedi." Bu cevap, zarar olmadığını göstermez. Yarıda bırakan sekiz kişiye kimse neden gittiklerini sormamış.

Bu uyarı broşürün arka yüzündeki cümleye doğrudan uyuyor. Aynı küçük çalışmalar farklı derlemelerde tekrar tekrar sayılınca, "on çalışma" gibi görünen şey aslında birkaç çalışmanın yankısı olabilir.

Usta katmanı

Bir çalışmayı okurken sorulacak soruların listesi uzundur ama akılda tutması kolaydır. Katılımcıların gerçekten bir tanısı var mı, yoksa yalnızca zor bir olay mı yaşamışlar? Kaç kişi, kimler? Kura var mı? Karşılaştırma bekleme listesi mi, inandırıcı başka bir uygulama mı? Sonucu kişinin kendisi mi, gruplardan habersiz bir değerlendirici mi ölçmüş? Yöntemi geliştiren kişi çalışmayı da yürütmüş mü? Yarıda bırakanlar ve zararlar raporlanmış mı? Takip ne kadar sürmüş? Çalışmanın planı önceden kaydedilmiş mi? Ve fark, istatistiksel olarak anlamlı olmanın ötesinde hayatta bir karşılık buluyor mu?

Zararların raporlanması bu listede en çok atlanan madde. Psikoterapi ve beden odaklı uygulama araştırmalarında olumsuz etkiler çoğu zaman sistemli biçimde ölçülmüyor. İyi bir çalışma ciddi olayları bildirir, neyi zarar saydığını açıklar ve yarıda bırakanların nedenlerini sorar.

Bir yöntemin kanıt düzeyini okurken, tek bir parlak sayı yerine bu soruların kaçının cevaplandığına bakmak, sayının kendisinden daha çok şey söyler.

Yaygın hatalar

Uygulama

Bu derste bedensel bir uygulama yok. Kâğıt ve kalemle yapılan iki görev var.

Kilit özet

Bir sayının ne kadar şey söylediği, çevresindeki cevaplara bağlıdır: kaç kişi katıldı, neyle karşılaştırıldı, kaç kişi bıraktı ve kim ölçtü?

Vaka serisi karşılaştırma taşımaz. Rastgele dağıtımlı çalışmalar alternatif açıklamaları daha iyi ayırır; ama bekleme listesine karşı üstünlük, inandırıcı başka bir uygulamaya karşı üstünlükle aynı şey olmaz.

Örneklem kaybı sonucu iyimser tarafa bozar. İstatistiksel anlamlılık hayattaki anlamla aynı şey sayılmaz. Bir ölçeğin güvenilir ve geçerli olup olmadığı da ayrıca sorulmalıdır.

Meta-analiz içine aldığı çalışmalardan iyi olamaz; yayın yanlılığı olumlu sonuçları çoğaltır. Zarar bildirilmemesi, zararın olmadığını göstermez.

Kaan broşürü çöpe atmadı. Program sorumlusuna, kötüleşme ve yarıda bırakma nedenleri de ölçülen, karşılaştırmalı küçük bir deneme önerdi. Yüzde seksenden fazla, yirmi kişiden on oldu; ama artık ne bildiğini ve ne bilmediğini biliyordu.

Sonraki derse köprü

Kaan'ın masasında yazması gereken bir şey kaldı: merkezin yönetim kuruluna, bu programı alıp almamaları konusunda bir öneri notu. Not hem programın umut veren yanlarını hem de bilinmeyenleri adil biçimde anlatmalı.

Sonraki derste, serinin son dersinde, bu notu birlikte yazacağız. Şimdiye kadar öğrendiğimiz her şeyi, kanıt düzeyini, riskleri, kişiye göre uyarlamayı ve bilinmeyenleri bir araya getirip bir karara dönüştürmeyi göreceğiz. Bir yöntem için "işe yarar" ya da "yaramaz" diye hüküm vermek yerine, başkasının kendi kararını görerek verebileceği bir harita çizmeyi öğreneceğiz.