Bilim neyi ölçüyor?

Açılış sahnesi

Bir cümleyle başlayalım: "Meditasyonun etkisi binlerce çalışmayla kanıtlandı."

Bu cümle her yerde geçiyor ve içinde iki ayrı iddia var.

Birincisi: çok sayıda çalışma var. Bu doğru. Bu alanda yayımlanmış çalışma sayısı gerçekten yüksek ve her yıl artıyor.

İkincisi: bu sayı kanıt gücü demek. Bu yanlış.

Çünkü bir alanda binlerce çalışma olması, o çalışmaların aynı şeyi ölçtüğü anlamına gelmez. Ve bu alanda ölçülen şey, çalışmadan çalışmaya değişiyor.

Bir çalışmada "meditasyon" sekiz haftalık bir programdır. Bir başkasında günde on dakikalık bir telefon uygulamasıdır. Üçüncüsünde otuz yıllık bir keşiştir. Dördüncüsünde laboratuvarda dinletilen on beş dakikalık bir kayıttır.

Dördü de "meditasyon çalışması" başlığı altında sayılıyor.

Bu seviye, o başlığın altını açmakla başlıyor.

Bu derste ne olacak

Önce operasyonel tanım kavramını kuracağız: bir çalışmanın "meditasyon" derken tam olarak neyi yaptığını. Sonra üç ölçüm ailesini ayıracağız — öz bildirim, davranışsal görev ve fizyolojik ölçüm — ve her birinin neyi yakalayıp neyi kaçırdığını göreceğiz. Ardından durum ile özellik ayrımını ele alacağız; bu ayrım kaçırıldığında "kalıcı değişim" iddiaları dayanaksız kalıyor. Sonra program etkisi ile teknik etkisini ayıracağız ve karşılaştırma grubu meselesine gireceğiz. En sonda da hiç konuşulmayan iki değişkeni ele alacağız: uygulamanın gerçekten yapılıp yapılmadığı ve eğitmenin kim olduğu.

Ders bittiğinde bir çalışmanın operasyonel tanımını bulabiliyor, üç ölçüm ailesini ayırabiliyor ve bir sonucun programa mı tekniğe mi ait olduğunu sorabiliyor olacaksınız.

Sıfır noktası

Bir gıda araştırması düşünün: "Sebze tüketimi sağlığa iyi geliyor."

Şimdi sorun: hangi sebze, ne kadar, nasıl pişirilmiş, kaç haftadır, kimde?

Brokoli ile patates kızartması aynı başlık altında toplanabilir mi? Günde bir dilim ile günde yarım kilo aynı doz mudur? Karşılaştırma grubu ne yiyor?

Bu soruları sormadan "sebze iyidir" cümlesi bir bilgi değil, bir slogandır.

Meditasyon araştırmalarında durum tam olarak budur ve bu ders o soruları soruyor.

Gıda benzetmesinin zayıf tarafı şu: sebzeler dışarıdan gözlenebilir ve tartılabilir. Meditasyonda ise ölçülen şeyin bir kısmı kişinin zihninde oluyor ve dışarıdan görülmüyor. Katılımcı gözleri kapalı otururken uygulama mı yapıyor, plan mı kuruyor, uyuyor mu — bunu ölçen bir alet yok.

Mekanizma

Aynı kelime, dört çalışma

Alanın en temel sorunu tanımda ve bu sorun sürekli olarak eleştiriliyor.

Bunun pratik sonucu şu: bir sonucu okurken ilk sorulacak soru, "işe yarıyor mu" değil.

İlk soru şu: bu çalışmada katılımcılar tam olarak ne yaptı?

Sekiz haftalık bir program mı, on dakikalık bir kayıt mı, uzun yıllardır uygulama yapan bir grup mu?

Bu üç tasarım üç farklı soruya cevap verir ve birbirinin yerine geçmez.

Üç ölçüm ailesi

Birincisi: öz bildirim. Katılımcıya sorulur. Ölçekler kullanılır, puanlar karşılaştırılır.

Ucuzdur, uygulaması kolaydır ve bu alandaki verinin büyük kısmı buradan gelir.

Ama üç zayıflığı var. Beklenti: sekiz hafta emek veren kişi, iyileşme bildirmeye eğilimlidir. Körleme yapılamaması: katılımcı hangi grupta olduğunu bilir. Ve en ilginci, anlam kayması.

Bu ayrıntı ciddiye alınmalı: bir ölçekte puanınızın artması, dikkatinizin arttığını değil, dikkat hakkındaki kendi değerlendirmenizin değiştiğini gösteriyor olabilir.

İkincisi: davranışsal görev. Katılımcıya bir iş verilir: dikkat testi, tepki ölçümü, duygusal uyarana verilen karşılık.

Avantajı: kişinin ne söylediğine değil, ne yaptığına bakar.

Zayıflığı: bu görevlerin ölçtüğü şey dar ve laboratuvara özgüdür. Bir dikkat testindeki iyileşme, gündelik hayatta dikkat arttığı anlamına gelmez. Ayrıca bu görevlerin güvenilirliği tartışmalıdır ve bulunan etkiler genellikle küçüktür.

Üçüncüsü: fizyolojik ölçüm. Beyin görüntüleme, elektriksel kayıt, kalp hızı değişkenliği, hormon ve iltihap belirteçleri.

Avantajı: nesnel görünür ve etkileyicidir.

Zayıflığı ciddidir: bu çalışmalar pahalıdır, bu yüzden örneklemler küçüktür; analiz seçenekleri çoktur, bu yüzden sonuçlar analiz kararlarına duyarlıdır; ve tekrarlanabilirlik bu alanın genel sorunudur.

Bir de yorum sorunu var: bir beyin bölgesinde etkinlik değişimi görmek, o değişimin ne anlama geldiğini söylemez.

Durum mu, özellik mi

Çoğu çalışma durum ölçüyor: program bitiminde, oturumdan hemen sonra ya da laboratuvarda uygulama sırasında.

Özellik iddiası için gereken şey farklı: uzun takip. Altı ay, bir yıl, beş yıl.

Bu tür takip çalışmaları azdır ve olanlarda katılımcı kaybı yüksektir.

Bir de kısayol var ve sorunlu: uzun yıllardır uygulama yapan kişileri, yapmayanlarla karşılaştırmak.

Bu tasarımın sorunu açık. Otuz yıldır uygulama yapan biri, o uygulamaya baştan yatkın olan biri de olabilir. Yani bulunan fark, uygulamanın sonucu olabileceği gibi, kimin uygulama yapmayı sürdürdüğünün de sonucu olabilir.

Program mı, teknik mi

Bu ayrım bu dersin en pratik çıktısı.

Sekiz haftalık bir program neler içerir?

Bir teknik. Ama aynı zamanda: haftalık grup buluşması, öğretmenin ilgisi, diğer katılımcılarla temas, düzenli ev ödevi, psikoeğitim içeriği, bir yapı ve iyileşme beklentisi.

Program işe yaradığında bunlardan hangisi işe yaradı?

Ayrımı yapmanın diğer yolu, karşılaştırma grubunu doğru seçmek.

Bekleme listesi karşılaştırması şunu ölçer: bir şey yapmakla hiçbir şey yapmamak arasındaki fark.

Aktif karşılaştırma şunu ölçer: bu tekniği yapmakla, benzer yapıda başka bir şey yapmak arasındaki fark.

İkisi çok farklı sorular ve cevapları da farklı çıkıyor.

İki görünmez değişken

Son bölümde, çalışmaların çoğunda hiç ölçülmeyen iki şey var.

Uygulama gerçekten yapıldı mı? Katılımcılara "günde kırk beş dakika" denir ve ev uygulaması genellikle kendi bildirimiyle kaydedilir. S5-M01'de gördüğümüz gibi bu bildirim güvenilir değil. Yani bir çalışmada "sekiz hafta günde kırk beş dakika" yazıyorsa, gerçekte ne kadar yapıldığını bilmiyoruz.

Eğitmen kimdi? Aynı program, iki farklı eğitmenle iki farklı deneyim olabilir.

Bu alanda eğitmen yeterliliğini değerlendiren araçlar geliştirilmiştir ama çalışmaların çoğunda kullanılmaz. Sonuç şu: bir çalışmada "program etkili bulundu" cümlesi, o programın o eğitmenle etkili bulunduğu anlamına gelir — ve eğitmen değişkeni raporlanmadığı için bu bilgiyi kullanamayız.

Örneklerden okuma

Dört çalışma, dört soru

Puanın anlamı

Karşılaştırmanın seçimi

Görünmeyen eğitmen

Usta katmanı

Üç ileri not.

Birincisi: tanım sorunu yalnızca bir titizlik meselesi değil, sonuçları doğrudan değiştiriyor. Birbirinden farklı uygulamaları tek başlık altında birleştiren derlemeler, ortalama bir etki üretiyor ve o ortalama hiçbir uygulamayı doğru tarif etmiyor olabilir.

İkincisi: körleme bu alanda yapısal olarak imkânsız. Katılımcı hangi gruptaysa bilir. Bu, ilaç çalışmalarındaki standardı burada uygulanamaz kılıyor ve beklenti etkisini hiçbir zaman tamamen dışarıda bırakamıyoruz. Yapılabilecek en iyi şey, aktif karşılaştırma grubu kullanmak.

Üçüncüsü: bu eleştiriler alanın kendi içinden geliyor. En sert yöntemsel eleştirileri yazanların önemli kısmı, aynı zamanda bu alanda çalışan ve uygulama yapan araştırmacılar. Bu, alanın sağlıklı olduğunun göstergesi — kendi iddialarını denetleyen bir alan, denetlemeyen bir alandan daha güvenilirdir.

Yaygın hatalar ve yanlış bilinenler

Uygulamalı çalışma

Bu seviyenin uygulaması minderde değil masada. Bir çalışma özeti alın ve beş soruyu sırayla cevaplayın.

Herhangi bir haber, tanıtım ya da makale özeti olur.

Birinci soru — operasyonel tanım. Bu çalışmada "meditasyon" tam olarak neydi? Program mı, tek oturum mu, uzun süreli uygulayıcı grubu mu? Süre, sıklık ve içerik yazılı mı?

İkinci soru — ölçüm ailesi. Sonuç neyle ölçüldü? Katılımcının kendi bildirimi mi, bir görev performansı mı, fizyolojik bir ölçüm mü? Birden fazlası kullanılmış mı?

Üçüncü soru — durum mu özellik mi. Ölçüm ne zaman yapıldı? Uygulama sırasında, hemen sonrasında, yoksa aylar sonra mı? Takip var mı?

Dördüncü soru — karşılaştırma. Karşılaştırma grubu ne yaptı? Hiçbir şey mi, bekledi mi, yoksa yapısal olarak benzer başka bir program mı aldı?

Beşinci soru — kim uyguladı. Eğitmenin kim olduğu, ne eğitim aldığı ve programın protokole uygun uygulanıp uygulanmadığı yazılı mı?

Beş sorunun cevabını yazın ve sonunda tek bir cümle kurun: bu çalışma tam olarak neyi gösterdi?

Çoğu popüler haberde ikinci ve dördüncü soruların cevabı bulunmaz. Bulunmaması, çalışmanın kötü olduğunu göstermez — haberin eksik olduğunu gösterir. Cevapları bulmak için makalenin kendisine bakmak gerekir ve bunu nasıl yapacağımızı Seviye 7'de öğreneceğiz.

Sınırlar

Bu dersin verdiği araç güçlü ve tam da bu yüzden sınırını yazmak gerekiyor.

Birincisi: bir çalışmayı özetinden değerlendiremezsiniz. Bu dersteki beş soru, bir çalışmanın ne söylediğini anlamaya yarar; kalitesini değerlendirmek için makalenin yöntem bölümü gerekir ve bunu Seviye 7'de çalışacağız.

İkincisi: yöntemsel eleştiri bir reddetme aracı değildir. "Örneklem küçüktü" demek, sonucun yanlış olduğunu göstermez; belirsizliğin büyük olduğunu gösterir. Zayıf kanıt, yokluk değildir.

Üçüncüsü: bu araç kişisel deneyimi değerlendirmek için kullanılmaz. Birinin uygulamadan fayda gördüğünü söylemesi bir çalışma iddiası değildir ve "kanıt zayıf" cümlesiyle karşılanmaz. İki farklı konuşma bunlar.

Dördüncüsü ve en önemlisi: bu ders tıbbi karar için kullanılmaz. Kanıt tartışmasına dayanarak bir tedaviyi bırakmak, değiştirmek ya da ertelemek bu akademinin kapsamı dışındadır; S0-M02'deki sınırlar Seviye 6 boyunca geçerliliğini koruyor.

Kendin dene

Kilit özet

Birincisi: "meditasyon" tek bir şey değildir ve her çalışma onu kendi operasyonel tanımıyla ölçer; sonuç yalnızca o tanım için geçerlidir.

İkincisi: üç ölçüm ailesi farklı şeyler yakalar — öz bildirim ucuz ama beklentiye ve anlam kaymasına açık, davranışsal görev dar, fizyolojik ölçüm pahalı ve tekrarlanabilirliği zayıf.

Üçüncüsü: çoğu çalışma durum ölçer; kalıcı değişim iddiası uzun takip gerektirir ve uzun süreli uygulayıcı karşılaştırmaları kimin uygulamayı sürdürdüğü sorusuyla karışır.

Dördüncüsü: sekiz haftalık bir program tekniğinden ibaret değildir; bekleme listesiyle yapılan karşılaştırmalar etkiyi tekniğe yanlış biçimde atfeder ve aktif karşılaştırmalarda etkiler küçülür.

Beşincisi: uygulamanın gerçekten yapılıp yapılmadığı ve eğitmenin kim olduğu çoğu çalışmada raporlanmaz — oysa ikisi de sonucun parçasıdır.

Sonraki derse köprü

Bu derste ölçmenin nasıl yapıldığını konuştuk. Şimdi bir adım geriye gidiyoruz ve şunu soruyoruz: peki neyin değiştiği iddia ediliyor?

Bir programın işe yaradığı bulunduğunda, arkasında bir mekanizma önerisi olur: dikkat düzenlemesi mi gelişti, duyguya verilen tepki mi değişti, düşünceyle ilişki mi farklılaştı, beden farkındalığı mı arttı?

Bu öneriler test edilebilir ve bir kısmı test edilmiştir. Bir kısmı ise yalnızca makul görünen açıklamalar olarak dolaşıyor.

Bir sonraki ders olan S6-M02 psikolojik mekanizmaları ele alıyor: dikkat düzenlemesini ve bu iddianın kanıt durumunu, duygu düzenlemesi ve yeniden değerlendirmeyi, düşüncelerden mesafelenmeyi, beden farkındalığını ve ruminasyonla ilişkiyi — ve her birinde hangi mekanizmanın gerçekten ölçüldüğünü.