Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.
Birincisi: her tasarım belirli bir cümleyi kurabilir — vaka raporu "böyle bir şey olabiliyor" der, kesitsel çalışma "birlikte görülüyor" der, boylamsal "önce geldi" der, rastgele atamalı deneme "yol açtı" iddiasına en güçlü zemini verir.
İkincisi: gözlemsel çalışmaların temel sınırı karıştırıcı değişkenlerdir ve bu alanda en güçlü karıştırıcı, uygulamayı kimin sürdürebildiğidir.
Üçüncüsü: bir denemede yalnızca programı tamamlayanların analiz edilmesi etkileri sistematik olarak büyük gösterir; bırakanları da içeren analiz gerçeğe daha yakındır.
Dördüncüsü: meta-analiz içine aldığı çalışmalardan güçlü olamaz; dar bir güven aralığı kesinliği gösterir, doğruluğu değil.
Beşincisi: deneyim örneklemesi ve tek-denek tasarımı bu alanın en az kullanılan ama en uygun yöntemleri arasında — ikincisi, kendi uygulamanız hakkında karar vermenin makul tek yolu.
Açılış sahnesi
Bir haberde şu cümleyi okuyorsunuz: "Yıllardır meditasyon yapan kişilerin beyinlerinde, yapmayanlara göre belirgin farklar bulundu."
Cümle doğru olabilir. Ama şu soruyu sormadan hiçbir şey ifade etmiyor: bu fark uygulamadan mı doğdu, yoksa bu farkı taşıyan kişiler mi uygulamaya devam etti?
İki açıklama da mevcut veriyle uyumlu.
Yirmi yıl boyunca her gün oturmayı sürdürebilen bir kişi, baştan farklı olabilir: dikkat kapasitesi, sabrı, hayat koşulları, ekonomik durumu.
Bu, çalışmanın kötü olduğunu göstermez. Tasarımın ne söyleyip ne söyleyemeyeceğini gösterir.
Ve bu ders tam olarak bunun için var: her tasarım belirli bir soruyu cevaplar, başkasını cevaplayamaz. Hangi tasarımın hangi cümleyi kurabileceğini bilmek, bu seviyenin en pratik becerisi.
Bu derste ne olacak
Önce en basit tasarımdan başlayacağız — vaka raporu — ve neden hem çok zayıf hem çok değerli olduğunu göreceğiz. Sonra gözlemsel çalışmalara geçeceğiz ve karıştırıcı değişken kavramını kuracağız. Ardından kesitsel ve boylamsal ayrımını yapacağız. Sonra rastgele atamalı denemeye geleceğiz ve içindeki en önemli analiz kararını ele alacağız. Ardından sistematik derleme ile meta-analizi ayıracağız ve bu ikisinin sınırını göstereceğiz. En sonda da bu alan için özellikle umut vaat eden iki yaklaşımı ele alacağız: deneyim örneklemesi ve tek-denek tasarımı.
Ders bittiğinde bir bulgunun hangi tasarımdan geldiğini tanıyabiliyor, o tasarımın kurabileceği cümleyi biliyor ve nedensellik iddialarını doğru yerde sorgulayabiliyor olacaksınız.
Sıfır noktası
Bir alet çantası düşünün.
Tornavida, pense, çekiç ve testere. Hiçbiri diğerinden "daha iyi" değil — her biri farklı bir iş için.
Bir vidayı çekiçle çakabilirsiniz. Girer. Ama tuttuğu şey aynı olmaz.
Araştırmada da aynı durum var ve bir ek zorluk: dışarıdan bakan biri hangi aletin kullanıldığını çoğu zaman fark etmiyor. Sonuç cümlesi hep aynı biçimde yazılıyor.
Alet çantası benzetmesinin zayıf tarafı şu: aletlerde bir hiyerarşi yoktur, araştırmada kısmen vardır. Nedensellik iddiası için bazı tasarımlar diğerlerinden gerçekten güçlüdür. Ama bu hiyerarşi mutlak değil — kötü yürütülmüş bir deneme, iyi yürütülmüş bir gözlemsel çalışmadan zayıf olabilir.
Mekanizma
Vaka raporu
En zayıf tasarım budur ve aynı zamanda en gerekli olanlardan biri.
Sebebi şu: bir şeyi ölçebilmek için önce var olduğunu bilmeniz gerekir. Vaka raporları o ilk işaret.
Bu alanda somut bir örneği var. Uygulamaya bağlı zorlayıcı deneyimler literatürü, tek tek vaka bildirimleriyle başladı. Kimse aramıyordu; birileri gördü ve yazdı. Sonraki adım nitel çalışmalar oldu, sonrası hâlâ yapılmayı bekliyor.
Vaka raporunun kurabileceği tek cümle şudur: "böyle bir şey olabiliyor."
Kuramayacağı cümle: "bu yaygındır" ya da "bunu uygulama yaptı."
Gözlemsel çalışma ve karıştırıcı değişken
Gözlemsel çalışmada araştırmacı müdahale etmez; olanı gözler ve karşılaştırır.
Burada asıl sorun bir kavramda toplanıyor.
Somutlaştıralım. Düzenli meditasyon yapanlarda uyku daha iyi bulunmuş olsun.
Üçüncü değişken adayları: bu kişiler daha düzenli bir hayat yaşıyor olabilir, daha az vardiyalı çalışıyor olabilir, ekonomik durumları daha iyi olabilir, daha çok hareket ediyor olabilir.
İstatistiksel düzeltme bunların ölçülmüş olanlarını hesaba katabilir. Ölçülmemiş olanları katamaz — ve neyin ölçülmediğini bilmiyoruz.
Bu alanda özel bir karıştırıcı biçimi var: kendi kendini seçme.
Uygulamayı sürdüren kişi, sürdürebilen kişidir. Bu grup baştan farklıdır ve fark, uygulamanın sonucu değil sebebi olabilir.
Kesitsel ve boylamsal
Kesitsel tasarım tek bir zamanda ölçüm yapar. Bir anlık fotoğraf.
Kurabileceği cümle: "bu iki şey birlikte görülüyor."
Kuramayacağı cümle: "biri diğerinden önce geldi" ya da "biri diğerine yol açtı."
Boylamsal tasarım aynı kişileri zaman içinde izler.
Kurabileceği cümle: "bu değişim şundan sonra geldi."
Kuramayacağı cümle: "şu buna yol açtı." Zaman sırası nedensellik için gerekli ama yeterli değil.
Boylamsal tasarımın kendi sorunu ise katılımcı kaybı: en zorlanan kişiler çalışmadan ayrılma eğilimindedir ve S6-M08'de gördüğümüz kör nokta burada da devreye girer.
Rastgele atamalı deneme ve en önemli analiz kararı
Bu tasarımın gücü tek bir yerden geliyor: atama rastgele olduğunda, bilmediğiniz değişkenler de dengeleniyor.
Ama bu güç, uygulamada birkaç noktadan sızabiliyor. Körleme yapılamaması S6-M01'de konuşuldu. Karşılaştırma grubunun seçimi S6-M05'te.
Şimdi üçüncüsüne bakalım ve bu, bir makalede aranacak en bilgilendirici ayrıntılardan biri.
Neden büyük gösterdiği açık: programı bırakan kişi, çoğu zaman fayda görmeyen ya da zorlanan kişidir. Onu analizden çıkarmak, geriye yalnızca uyum sağlayanları bırakır.
Bir makalede hangi analizin kullanıldığı yazılıdır ve ikisi de raporlanmışsa aradaki fark bilgilendiricidir.
Derleme ve meta-analiz
Burada üç farklı şey var ve sık karıştırılıyor.
Anlatısal derleme. Bir yazarın alanı okuyup özetlemesi. Yararlı olabilir ama hangi çalışmaların dâhil edildiği yazarın seçimidir.
Sistematik derleme. Önceden belirlenmiş bir arama stratejisi, dâhil etme ölçütleri ve kalite değerlendirmesiyle yapılan tarama. Seçim keyfiliği azaltılmıştır.
Meta-analiz. Sistematik derlemedeki çalışmaların sayısal sonuçlarının birleştirilmesi.
Meta-analiz genellikle kanıt sıralamasının tepesinde gösterilir. Bu, önemli bir kaydı atlıyor.
Ve daha temel bir sınır var: bir meta-analiz, içine aldığı çalışmalardan daha güçlü olamaz.
Zayıf çalışmaları birleştirmek zayıflığı ortadan kaldırmaz; yalnızca sonucu daha kesin görünen bir sayıya çevirir. Dar bir güven aralığı, doğru cevabı garanti etmez.
Bu yüzden bir meta-analizi okurken bakılacak yer, sonuç sayısı değil: hangi çalışmalar dâhil edildi, kalite nasıl değerlendirildi ve heterojenlik ne kadar yüksek?
İki umut verici yaklaşım
Son bölümde, bu alan için özellikle uygun iki tasarım var.
Bu yaklaşım, bu alandaki en büyük ölçüm sorunlarından birine doğrudan dokunuyor: insanlar geçmiş bir haftayı hatırlayarak değerlendirdiğinde, o değerlendirme şu anki hâllerinden etkileniyor.
Günde birkaç kez sorulan kısa sorular bu çarpıtmayı azaltıyor.
İkinci yaklaşım ise doğrudan kendi uygulamanızla ilgili.
Bu tasarım tıpta da kullanılıyor ve mantığı basit: aynı kişide iki koşulu dönüşümlü olarak dene, her koşulda aynı ölçümü al, sonra karşılaştır.
Bir kişinin kendi uygulaması için bunu yapması mümkün — ve S5-M01'deki doz sorularının cevabını kendi verinizle aramanın tek makul yolu bu.
Örneklerden okuma
Aynı bulgu, iki tasarım
Tamamlayanların sonucu
Kesin görünen yanlış
Kendi verisi
Usta katmanı
Üç ileri not.
Birincisi: kanıt sıralaması bir kural değil, bir başlangıç noktası. Rastgele atamalı deneme her zaman uygun değildir — bazı sorular için etik değildir, bazıları için pratik değildir. Zorlayıcı deneyimleri incelemek için kimseyi rastgele riskli bir koşula atayamazsınız; orada gözlemsel ve nitel tasarımlar tek seçenektir.
İkincisi: bu alanda en çok ihtiyaç duyulan tasarım muhtemelen uzun takipli boylamsal çalışmalar. Hem faydanın kalıcılığı hem zorlayıcı deneyimlerin seyri bu boşlukta duruyor ve bu tasarım pahalı olduğu için yapılmıyor.
Üçüncüsü: tek-denek tasarımı, bu akademinin genel yaklaşımına en uygun yöntem. Çünkü bu akademi boyunca tekrarladığımız bir cümle var: ortalama sizi tarif etmeyebilir. Kendi verinizi toplamak, o ortalamanın dışında kalıp kalmadığınızı görmenin tek yolu.
Yaygın hatalar ve yanlış bilinenler
Yaygın yanlış"Meta-analiz en güçlü kanıttır."
· Bir meta-analiz, içine aldığı çalışmalardan daha güçlü olamaz. Zayıf çalışmaların birleştirilmesi, sonucu yalnızca daha kesin görünen bir sayıya çevirir; dar bir güven aralığı doğruluğu garanti etmez.
Yaygın yanlış"Uzun süreli uygulayıcılarla yapılan karşılaştırma, uygulamanın etkisini gösterir."
· Bu tasarımda kim uygulamayı sürdürdüğü sorusu cevapsız kalır. Bulunan fark, uygulamanın sonucu olabileceği gibi, uygulamayı sürdürebilen kişilerin baştan taşıdığı bir özellik de olabilir.
Yaygın yanlış"Programı tamamlayanlara bakmak daha temiz sonuç verir."
· Tamamlayanlar, uyum sağlayabilenlerdir; bırakanlar çoğu zaman fayda görmeyen ya da zorlanan kişilerdir. Yalnızca tamamlayanları analiz etmek etkileri sistematik olarak büyük gösterir.
Yaygın yanlış"Rastgele atamalı deneme her soru için gereklidir."
· Bazı sorular için etik ya da pratik değildir. Zorlayıcı deneyimlerin incelenmesi ya da yeni bir olgunun adlandırılması gibi işlerde gözlemsel ve nitel tasarımlar tek seçenektir ve daha uygundur.
Sınırlar
Bu ders bir çalışma tasarlama kılavuzu değildir; gerçek bir araştırma yürütmek etik kurul onayı ve yöntem desteği gerektirir.
Tasarım eleştirisi bir reddetme aracı da değildir. "Bu kesitsel bir çalışmaydı" cümlesi bulguyu geçersiz kılmaz; yalnızca hangi cümlenin kurulabileceğini belirler.
Kendi verinizi toplamak — deneyim örneklemesi ya da tek-denek tasarımı — sağlıklı bir merak biçimidir ama bir teşhis ya da tedavi aracı değildir. Bir sağlık durumunuz varsa, kendi ölçümleriniz tedavi kararlarınızın gerekçesi olamaz; S0-M02'deki sınırlar geçerli.
Ve bir uyarı: kendi verinizi toplamak takıntılı bir izleme hâline gelebilir. Günde birkaç kez ölçüm almak bazı kişilerde kaygıyı artırır. Böyleyse bırakın; ölçmek, uygulamanın amacı değil.
Uygulamalı çalışma
Bir bulgu alın ve tasarımını tanıyın. Beş soru.
Birinci soru — kaç kişi ve nasıl seçildiler? Tek kişi mi, bir grup mu, iki grup mu? Gruplara nasıl ayrıldılar — rastgele mi, kendileri mi seçti, zaten öyle miydi?
İkinci soru — kaç kez ölçüldü? Tek seferde mi, öncesi ve sonrası mı, tekrarlanan ölçümlerle mi?
Üçüncü soru — araştırmacı müdahale etti mi? Bir şey uygulandı mı, yoksa olan mı gözlendi?
Dördüncü soru — bu tasarım hangi cümleyi kurabilir? "Birlikte görülüyor" mu, "önce geldi" mi, "yol açtı" mı?
Beşinci soru — makaledeki cümle bu sınırın içinde mi? Yazarlar tasarımlarının izin verdiğinden daha güçlü bir cümle kuruyor mu?
Beşinci soru, bu dersin asıl çıktısı. Bulgu ile cümle arasındaki uyumsuzluk, en sık karşılaşacağınız sorun — ve genellikle makalede değil, makaleyi aktaran haberde.
Kendin dene
Kilit özet
Birincisi: her tasarım belirli bir cümleyi kurabilir — vaka raporu "böyle bir şey olabiliyor" der, kesitsel çalışma "birlikte görülüyor" der, boylamsal "önce geldi" der, rastgele atamalı deneme "yol açtı" iddiasına en güçlü zemini verir.
İkincisi: gözlemsel çalışmaların temel sınırı karıştırıcı değişkenlerdir ve bu alanda en güçlü karıştırıcı, uygulamayı kimin sürdürebildiğidir.
Üçüncüsü: bir denemede yalnızca programı tamamlayanların analiz edilmesi etkileri sistematik olarak büyük gösterir; bırakanları da içeren analiz gerçeğe daha yakındır.
Dördüncüsü: meta-analiz içine aldığı çalışmalardan güçlü olamaz; dar bir güven aralığı kesinliği gösterir, doğruluğu değil.
Beşincisi: deneyim örneklemesi ve tek-denek tasarımı bu alanın en az kullanılan ama en uygun yöntemleri arasında — ikincisi, kendi uygulamanız hakkında karar vermenin makul tek yolu.
Sonraki derse köprü
Bu derste tasarımları tanıdık. Şimdi o tasarımların ürettiği sayılara geçiyoruz.
Bir makalede karşılaşacağınız sayılar birkaç türde: ortalamalar, dağılımlar, güven aralıkları, etki büyüklükleri, yüzdeler.
Bu sayıların her biri farklı bir soruya cevap veriyor ve en sık yapılan hatalar burada. Bir farkın istatistiksel olarak anlamlı olması ile kişi için fark edilir olması aynı şey değil. Yüzde elli azalma ifadesi, neyin yüzde ellisi sorulmadan bir şey söylemiyor.
Bir sonraki ders olan S7-M03 sayılarla düşünmeyi ele alıyor: ortalama ile dağılım ile güven aralığını, istatistiksel önem ile klinik önemi, etki büyüklüğünü, mutlak ve göreli değişimi, ve heterojenlik ile alt grup analizini.
Animasyon ve seslendirme notları
Animasyon ve seslendirme notları
Görsel an — açılışta: iki grup yan yana — uzun süreli uygulayıcılar ve diğerleri. Aralarında bir fark oku beliriyor; sonra okun yönü tersine dönüyor ve iki yön arasında gidip geliyor.
Görsel an — alet çantası: dört alet. Bir vida çekiçle çakılıyor; girip duruyor ama sallanıyor.
Görsel an — karıştırıcı: iki kutu arasında bir ok. Sonra üçüncü bir kutu beliriyor ve iki kutuya da bağlanıyor; ilk ok soluyor.
Görsel an — iki analiz: kırk figür programa giriyor, on ikisi ayrılıyor. Solda yalnızca kalanlar analize giriyor ve etki çubuğu uzun; sağda hepsi giriyor ve çubuk kısalıyor.
Görsel an — meta-analiz: otuz küçük ve soluk kutu bir hunide birleşiyor; çıkan sonuç parlak ve dar bir aralık gösteriyor. Sonra huninin girişindeki kutuların rengi hatırlatılıyor.
Görsel an — tek-denek: bir kişi ve dönüşümlü haftalar. İki koşul sırayla renkleniyor; altında günlük iki küçük ölçüm işareti birikiyor.
Motif — ders boyunca köşede bir cümle şablonu: "bu tasarım şunu söyleyebilir". Her bölümde içi güncelleniyor.
Ritim — açılıştaki iki açıklama arasında iki saniye. Tasarımlar sayılırken her biri arasında bir saniye. Meta-analiz bölümü ölçülü okunmalı; bu yöntem küçümsenmemeli, yalnızca sınırı gösterilmeli. Kilit özette beş cümle arasında birer saniye.