Bu akademide kanıt nasıl okunur

Açılış

Rize'de çay toplama mevsiminin son haftası. Eczacılık fakültesinde okuyan Esra, akşam yemeğinden sonra babasının telefonuna gelen bir mesajı okuyor. Aile grubunda bir akrabası bir haber paylaşmış: "Bilim kanıtladı! Günde beş dakika farkındalık stresi yarı yarıya azaltıyor." Altında yirmi kalp, üç "çok doğru" yorumu.

Esra haberin bağlantısına tıklıyor. Haberin kendisi bir sağlık sitesinde, kaynağı "yeni bir araştırma". Araştırmanın adı yok, yazarı yok, dergisi yok. Biraz arayınca bir yurt dışı haber sitesine ulaşıyor; orada çalışmanın birkaç düzine üniversite öğrencisiyle yapıldığı, stresin kişilerin kendi doldurduğu bir anketle ölçüldüğü ve karşılaştırma grubunun hiçbir şey yapmadığı yazıyor. "Yarı yarıya" ifadesi ise orijinal haberde hiç geçmiyor.

Babası "Peki doğru mu değil mi?" diye soruyor. Esra bir an düşünüyor. "Yanlış demiyorum baba. Ama bu, 'bilim kanıtladı' cümlesini taşıyacak kadar ağır bir çalışma değil." Babası güldü: "Ağır hafif ne demek, ya doğrudur ya yanlış." Bu ders, Esra'nın babasına neden "ya doğru ya yanlış"tan daha ayrıntılı bir cevap verdiğini anlatıyor.

Tek fikir

Bir iddianın ağırlığı, onu söyleyenin kesinliğinden değil, dayandığı çalışmaların sayısından, tasarımından ve tekrarlanıp tekrarlanmadığından gelir. Bu akademideki kanıt etiketleri, her iddianın bu ağırlığını okura açıkça söylemek için var.

Nasıl işler

Gündelik dilde bir bilgi ya doğrudur ya yanlış. Bilimsel bilgi ise çoğu zaman bir ağırlık taşır: bazı bulgular yüzlerce çalışmada, farklı ülkelerde, farklı yöntemlerle aynı sonucu vermiştir; bazıları tek bir laboratuvarda, bir kez görülmüştür; bazıları bir kez görülmüş, sonra tekrar edilmeye çalışılmış ve bulunamamıştır. Bunların hepsi aynı cümle kalıbıyla, "araştırmalar gösteriyor ki" diye aktarılabiliyor. Etiket bu kalıbın altındaki farkı görünür kılıyor.

Bu farkın merkezinde tek bir kavram duruyor.

Bu akademinin sekiz etiketi bu ağırlığı kabaca sıralıyor. En ağırı Belgelenmiş olgu: bilimsel olarak tartışılmayan, ölçümü sağlam, çoğu zaman günlük deneyimle de doğrulanan şeyler. İnsan gözünün bir kör noktası olması böyle bir olgu. Ardından Tekrarlanmış bulgu geliyor: birden fazla bağımsız ekip tarafından, farklı örneklemlerle bulunmuş sonuç. Erken bulgu, tek bir çalışmadan ya da tek bir araştırma grubundan gelen, yönü makul ama henüz yeterince sınanmamış sonuç; bu akademinin ilk derslerinde en sık kullandığımız etiket buydu. Karma bulgu, bazı çalışmaların bulduğu, bazılarının bulamadığı ve ortalama tablonun belirsiz kaldığı sonuç. Tartışmalı, araştırmacıların bulgunun ne anlama geldiği ya da ne kadar güçlü olduğu konusunda açıkça ayrıştığı durum. Tekrarlanamadı, ilk çalışmada görülen ama büyük ve dikkatli tekrar çalışmalarında bulunamayan etki.

İki etiket bu sıranın dışında duruyor. Düşünme aracı, deneysel bir iddia taşımayan, düşünmeyi düzenlemeye yarayan modeller için: ileride göreceğin Johari penceresi ya da İsviçre peyniri modeli gibi. Bir harita doğru ya da yanlış değil, işe yarar ya da yaramaz. Mit ise kaynağı yanlış okunmuş ya da hiç var olmamış ama yaygın biçimde dolaşan iddia için.

Etiketin yanı sıra bir şeye daha bakmak gerekiyor: bir etkinin var olması ile büyük olması aynı şey sayılmaz.

Esra'nın haberinde iki sorun iç içe geçmişti. Birincisi ağırlık: tek, küçük, kontrolsüz bir çalışma "bilim kanıtladı" diye sunulmuştu. İkincisi büyüklük: orijinalde olmayan "yarı yarıya" ifadesi, etkiyi olduğundan çok daha büyük gösteriyordu.

Etiketlerin bir de görünmeyen tarafı var: yayımlanmayan çalışmalar.

Yayın yanlılığı, bir konuda yayımlanmış on çalışmanın hepsi bir etki bulmuş olsa bile, çekmecede duran ve hiçbir şey bulamamış başka çalışmaların olabileceği anlamına geliyor. Etiket verirken bu yüzden yalnız "kaç çalışma var" diye değil, "bu konuda tekrar çalışması yapıldı mı ve ne buldu" diye de soruyoruz.

Ne biliyoruz

Etiketlerin neden bu kadar önemli olduğunu gösteren en çarpıcı kanıt, psikolojinin kendi kendini sınadığı büyük bir projeden geliyor.

Sonuçlar alanı sarstı. Orijinal çalışmaların yüzde doksan yedisi istatistiksel olarak anlamlı sonuç bildirmişti. Tekrarlarda bu oran yüzde otuz altıya düştü. Tekrarlardaki etkiler, ortalamada orijinal etkilerin yarısı büyüklüğündeydi. Araştırmacılar ayrıca bir şey daha buldu: tekrarın başarısını en iyi öngören şey, ekiplerin ünü ya da deneyimi değil, orijinal kanıtın gücüydü. Zayıf kanıtla yayımlanmış bulgular tekrarda daha sık kayboluyordu.

Bu tablo farkındalık araştırmalarını da doğrudan ilgilendiriyor. İki bin on yedide farklı disiplinlerden on beş araştırmacı, alanın durumunu eleştirel olarak değerlendiren ortak bir makale yayımladı.

Van Dam ve arkadaşlarının uyarısı, Esra'nın akşam yaşadığı şeyin bir özeti gibi: zayıf yöntemle üretilmiş ve abartılarak aktarılmış bulgular, insanların zarar görmesine, yanıltılmasına ve hayal kırıklığına uğramasına yol açabiliyor. Bu akademinin etiket sistemi, bu uyarıya verilmiş bir cevap.

Gündelik hayatta

Gözlem görevi

Bu hafta karşına çıkan bir farkındalık, dikkat ya da odaklanma iddiasını, bu dersin etiketleriyle tartacaksın. İddia bir haberden, bir reklamdan, bir sosyal medya paylaşımından ya da bir arkadaşının sözünden gelebilir.

Kayıt: Defterine iddianın cümlesini aynen geçir, kaynağını yaz, dört sorunun her birine bulduğun cevabı not et. Sonra iddiaya bu akademinin sekiz etiketinden birini geçici olarak ver ve nedenini tek cümleyle söyle. En sonda iki sayıyı yan yana koy: iddiayı ilk duyduğunda ona yüzde kaç inanıyordun, araştırmanın sonunda yüzde kaç inanıyorsun?

Bu görevde iddiayı mutlaka çürütmen gerekmiyor. Bazı iddialar araştırmadan güçlenerek çıkar ve bu da görevin geçerli bir sonucu. Görevin değeri başka bir yerde: iddiaya verdiğin güven ile dayanağın ağırlığı arasındaki mesafeyi sayıyla görmek.

Yaygın yanılgılar

Sınır

Bu akademinin etiketleri bir yargıdır ve her yargı gibi yanılabilir. Bir bulguya "Erken bulgu" dediğimizde, o dersin yazıldığı tarihte ulaşabildiğimiz kanıta göre konuşuyoruz. Yarın büyük bir tekrar çalışması yayımlanırsa etiket değişebilir. Bu yüzden etiket bir hüküm değil, bir okuma notu: "Bu iddiayı bu ağırlıkla taşı."

Etiketler ayrıca bir uç noktaya itilebilir. Her iddiaya kuşkuyla yaklaşmak, sağlıklı bir şüphecilikten her şeyi reddeden bir alaycılığa kayabilir. Bu akademinin amacı okuru hiçbir şeye inanmayan biri yapmak değil, inancını kanıtın ağırlığına göre ayarlayan biri yapmak. "Erken bulgu" bir iddianın yanlış olduğunu söylemiyor; henüz yeterince sınanmadığını söylüyor.

Bir de pratik sınır var. Gözlem görevindeki dört soru, her iddianın kaynağına ulaşılabileceğini varsayıyor; oysa birçok makale ücretli, birçok haberin kaynağı belirsiz. Kaynağa ulaşamadığında bunu kendi kaydında açıkça yazmak, iddiaya ağırlık vermekten daha dürüst bir sonuçtur. Sağlıkla ilgili bir karar söz konusuysa, örneğin bir ilacı bırakıp bir uygulamaya geçmek gibi, bu akademinin etiketleri bir hekimin değerlendirmesinin yerini tutmaz.

Kapanış

1. Bir iddia yalnız doğru ya da yanlış değil, bir ağırlık da taşır; bu ağırlık çalışmaların sayısından, tasarımından ve tekrarlanıp tekrarlanmadığından gelir.
2. Psikolojide yayımlanmış bulguların önemli bir kısmı bağımsız tekrarlarda daha zayıf çıkıyor; bu yüzden tek bir çalışma bir işarettir, tekrarlanan sonuç bir bulgudur.
3. Bir iddiayı tartarken dört soru sorulur: kaç çalışma ve kim, neyle karşılaştırıldı, neyle ölçüldü, etki ne kadar büyük ve kimde.

Üç soru

1. Esra'nın babası "Ya doğrudur ya yanlış" diyor. Esra'nın aile grubundaki haber için vereceği daha ayrıntılı cevap nasıl olmalı ve bu akademinin etiketlerinden hangisine en yakın?
2. Bir arkadaşın "Bu çalışma tekrarlanamamış, demek ki araştırmacılar veri uydurmuş" diyor. Bu dersin bilgisiyle ona ne cevap verirsin?
3. Kenan'ın farkındalık eğitimi teklifini reddetmeyip beklentisini düşürmesi doğru bir karar mıydı? Dört soru açısından gerekçelendir.

Yanıtlar

Birinci soruda Esra'nın cevabı şöyle olabilir: haberin dayandığı çalışma tek, küçük ve karşılaştırma grubu hiçbir şey yapmayan bir çalışma; stres kişilerin kendi beyanıyla ölçülmüş; "yarı yarıya" ifadesi ise kaynağın kendisinde yok. Bu, iddianın yanlış olduğunu göstermez, ama "bilim kanıtladı" cümlesini taşıyamaz. Etiket olarak en yakını Erken bulgu, abartılı aktarımı da ayrıca not etmek gerekiyor. "Yanlış haber" demek çekici, ama elimizdeki bilgi yanlışlığı değil, hafifliği gösteriyor.

İkinci soruda tekrar başarısızlığının çoğu zaman sahtekârlıktan değil, küçük örneklemlerden, şanstan ve yayın yanlılığından kaynaklandığını söylersin. İlk çalışma belki gerçek ama küçük bir etkiyi abartılı bir büyüklükle yakaladı. Sahtekârlık gerçek bir sorun ve bazen ortaya çıkıyor, ama tekrar başarısızlığından otomatik olarak çıkarılamaz.

Üçüncü soruda Kenan'ın kararı dört soruya verilen cevaplara dayanıyor. Çalışmaların karşılaştırma grubu, ölçüm biçimi ve tekrar durumu sorulduğunda beklentinin düşmesi gerektiği ortaya çıktıysa, teklifi tamamen reddetmek yerine "denemeye değer" diye konumlandırmak, kanıtın ağırlığına uygun bir karar. Kenan ayrıca kendi personelinde eğitimin önünde ve sonunda neyi ölçeceğini belirlerse, kendi küçük kanıtını da üretmiş olur.

Sonraki derse köprü

Bu derste başkalarının iddialarını tarttın. Ama bu akademinin asıl ölçeceği şey senin kendi farkındalığın ve bir değişimi ölçebilmek için önce nereden başladığını bilmen gerekiyor. Acil durum nesnelerinin yerini tahmin ettiğin ilk görev ve gün içine dağılmış alarmlar bu başlangıcın parçalarıydı. Sıradaki ders bu parçaları yedi günlük bir başlangıç kaydında birleştiriyor; akademinin son dersinde aynı kaydı yeniden tutup karşılaştıracaksın.