Bir iddiayı baştan sona sınamak

Görev

Salı gecesi, yurt odası. Berk ders çalışmayı bırakmış, oda arkadaşı Emre'nin masasındaki şişeye bakıyor: bir litrelik elma sirkesi, yanında ilaç ölçeği büyüklüğünde plastik bir kap. Emre her sabah kalkar kalkmaz bu kaba sirke doldurup tek yudumda içiyor, sonra yüzünü buruşturuyor. Yaz gelmeden göbeğinden kurtulmak istiyor. Berk nereden çıktığını sorunca Emre telefonunu uzatıyor: Tolga'nın kısa bir videosu. Aydınlık mutfak, tezgâhta aynı şişe, ekranın altında kocaman bir yazı: "Bilim kanıtladı."

Emre'nin sirkeye inanmasının nedenleri anlaşılır. Sirke ucuz, her markette var, mutfakta zaten duran bir şey; denemenin bir maliyeti yokmuş gibi görünüyor. Tolga da bu kez bir bileklik ya da kür satmıyor, bir araştırmadan söz ediyor. "Japon bilim insanları" demek, "bana inanın" demekten daha sağlam duyuluyor. Berk'in kafasındaki soru da bu yüzden "Tolga yalan mı söylüyor?" değil. Sorusu şu: Tolga'nın andığı araştırma gerçekten var mı, varsa gerçekte ne bulmuş?

Bu atölyede Berk'in yerine geçeceksin. Elinde bu akademinin şimdiye kadar verdiği bütün araçlar var: iddiayı tek bir sınanabilir cümleye indirmek, kaynak zincirini geriye doğru yürümek, çalışmayı PICO çerçevesiyle okumak, çalışma türünü tanımak, hayvan deneyiyle insan denemesini ayırmak, mutlak ile göreli farkı ayrı ayrı sormak, vekil sonlanım noktasını yakalamak, çarpıtıcı sunumu fark etmek ve finansman satırına bakmak. Yeni bir araç yok. Görev, bunları tek bir iddia üzerinde sırayla kullanmak ve sonunda Emre'ye üç dört cümlelik dürüst bir cevap yazmak.

İnternette belirti aramayı konuştuğumuz derste Defne sekmeleri çoğalttıkça daha az şey öğreniyordu. Buradaki yöntem tersini yapar: her adımda tek bir soru sorar, cevabını yazar, sonra bir sonrakine geçer.

Malzeme

Aşağıdaki video dökümü bu atölye için yazılmış kurgusal bir metindir; Tolga kurgusal bir karakterdir. Videoda anılan araştırma ise gerçektir ve PubMed'de bulunabilir. Kurgusal olan, Tolga'nın o araştırmayı anlatış biçimidir.

Video dökümü, kırk beş saniye: "Japon bilim insanları on iki hafta boyunca insanlara elma sirkesi içirdi. Bir gruba da sahte içecek verdiler. Sonuç? Sirke içenlerin göbek yağı eridi, kilolar gitti. Üstelik diyet yok, spor yok, hiçbir şeyi değiştirmediler. Neden mi? Çünkü sirke vücudunuzdaki yağ yakan genleri açıyor. Araştırmacılar kalp krizi riskinin yüzde on düştüğünü de hesapladı. Bu araştırma 2009'da yayımlandı ve kimse size anlatmadı. Ben üç yıldır her sabah aç karnına bir shot içiyorum, sek, su katmadan. Siz de yarın başlayın. Kendi ev yapımı sirkemin bağlantısı açıklamada."

Videonun altındaki en çok beğenilen yorum: "İki haftadır içiyorum, kotum bol geliyor!"

Emre'nin Berk'e söylediği: "Tolga her şeyi uydurmuyor ki, bak araştırma diyor, yılını bile veriyor."

Hatayı bul

Bu malzemeyle karşılaşan okurların sık düştüğü üç tuzak var. Üçü de zinciri yürümeden bir sonuca atlamaktır.

Örnek çözüm

Aşağıdaki çözüm bir örnektir; senin çözümün başka bir sırayla, başka sözcüklerle de doğru olabilir.

Birinci adım, iddiayı tek bir cümleye indirmek. Kırk beş saniyelik videoda en az dört ayrı iddia var: sirke kilo ve göbek yağı kaybettirir; bunu yağ yakan genleri açarak yapar; kalp krizi riskini yüzde on azaltır; en iyi aç karnına, sek içilir. Hepsini aynı anda sınamaya çalışan, hiçbirini sınayamaz. Emre'nin kararını belirleyen ilki olduğu için onu seçiyoruz: "Her gün elma sirkesi içmek, on iki haftada göbek yağını ve kiloyu belirgin biçimde azaltır." Diğer üçünü ise yol üstünde, kaynak elimize geçince kontrol edeceğiz.

İkinci adım, kaynağın var olup olmadığı. Tolga araştırmanın adını, dergisini, yazarını vermiyor; ama üç ipucu bırakıyor: Japonya, on iki hafta, 2009. PubMed'de "vinegar body weight Japanese" gibi birkaç İngilizce sözcükle yapılan bir arama, bu ipuçlarının üçüne de uyan tek bir denemeye götürüyor.

Kaynak var ve Tolga'nın birkaç sözü doğru çıkıyor: bu gerçekten randomize bir deneme, gerçekten plasebo kullanılmış, gerçekten on iki hafta sürmüş. Bu, Tolga'yı küçümseyen okurun gözden kaçıracağı bir noktadır.

Üçüncü adım, çalışmayı PICO çerçevesiyle okumak. Katılımcılar (P): beden kitle indeksi 25 ile 30 arasında, 25–60 yaşlarında, hiçbir ilaç kullanmayan 175 Japon yetişkin; kan yağları, kan şekeri ve karaciğer değerleri belirli sınırların dışında olanlar, gebeler ve sirkeden mide yanması yaşayanlar baştan alınmamış. Müdahale (I): içinde 15 ya da 30 mililitre elma sirkesi bulunan, kalorisiz tatlandırıcı eklenmiş yarım litrelik bir içecek; yarısı kahvaltıdan, yarısı akşam yemeğinden sonra. Karşılaştırma (C): tadı sirkeye benzesin diye laktik asit eklenmiş, sirkesiz bir plasebo içecek. Sonuçlar (O): kilo, bel çevresi, bilgisayarlı tomografiyle ölçülen karın yağı alanı ve kandaki trigliserit.

Burada Tolga'nın tarifiyle ilk büyük ayrılık görünüyor. Çalışmada kimse sabah aç karnına sek sirke içmedi; sirke yarım litre içeceğe karıştırıldı ve yemekten sonra içildi. Emre'nin plastik kaptaki sabah yudumu, bu denemede sınanan şey değil.

Dördüncü adım, ne bulunduğu. Özette yalnızca "anlamlı olarak daha düşük" yazıyor, bu yüzden makalenin dördüncü tablosuna iniyoruz. 175 kişiden 155'i çalışmayı tamamlamış. Günde 30 mililitre içen grubun ortalama kilosu on iki haftada 73,1'den 71,2 kilograma, 15 mililitre içen grubunki 74,9'dan 73,7 kilograma inmiş; plasebo grubunun kilosu ise 74,2'den 74,6 kilograma çıkmış. Yüksek doz grubunda bel çevresi 90,5 santimetreden 88,6 santimetreye inmiş, yani iki santimetreye yakın. Tartışma bölümünde yazarlar da aynı şeyi söylüyor: kilo bir ile iki kilogram arasında azalmış. Azalmanın "çok yüksek olmadığını" da açıkça yazıyorlar.

Asıl atlanan bilgi ise tartışma bölümünde. Denemenin sonunda katılımcılar dört hafta daha izlenmiş, ama bu kez sirke içmeden. Bu dört haftanın sonunda kilo, beden kitle indeksi ve bel-kalça oranı başlangıç değerlerine geri dönmüş. Tabloda düşük doz grubunun kilosu yeniden 74,9'a çıkıyor. Yazarlar bundan, etkinin sürmesi için sirkenin sürekli içilmesi gerektiği sonucunu çıkarıyor.

Beşinci adım, videonun neyi abarttığı ve neyi atladığı. "Göbek yağı eridi" ifadesi, üç ayda bir iki kiloluk ve iki santimetrelik bir farkı anlatıyor; fark gerçek görünüyor, ama "erime" kelimesi onun boyutunu birkaç kat büyütüyor. Videoda bırakınca geri gelen kilolardan hiç söz edilmiyor. "Diyet yok, spor yok" sözü ise yarı doğru: katılımcılardan alışkanlıklarını değiştirmemeleri istenmiş ve günlüklerine göre yediklerinde ve adım sayılarında gruplar arasında fark çıkmamış. Ancak bu bilgi katılımcıların kendi yazdığı günlüklere dayanıyor.

"Yağ yakan genleri açıyor" sözü bu denemeden gelmiyor. Makalenin girişinde ve tartışmasında anılan gen bulguları sıçanlarda yapılmış deneylerden alınmış; bu denemede insanlarda gen ölçülmemiş. Yazarlar bunu ileride araştırmak istediklerini yazıyor. Tolga bir hayvan deneyinin mekanizmasını, bir insan denemesinin sonucuna eklemiş.

"Kalp krizi riski yüzde on düştü" sözü de ölçülmüş bir sonuç değil. Denemede kimsenin kalp krizi geçirip geçirmediği izlenmedi; on iki hafta buna zaten yetmez. Yazarlar tartışma bölümünde, trigliseritteki düşüşü başka bir çalışmanın rakamlarıyla çarparak kalp hastalığı riskinde yüzde onluk bir azalma olabileceğini hesaplamış. Yani bu, bir vekil sonlanım noktasından yapılan bir tahmindir. Üstelik göreli bir rakamdır; hangi başlangıç riskinin yüzde onu olduğu söylenmiyor. Yazarların "olabilir" dediği şey, videoda "düştü" olmuş: çarpıtıcı sunumun en tanıdık biçimi.

Son olarak finansman. Makalenin ilk sayfasında yazarların adresi tek bir yer: sirke, sos ve benzeri gıdalar üreten bir Japon şirketinin araştırma enstitüsü. Etik kurul onaylarından biri de aynı şirketten. Bu, sonucu geçersiz kılmaz; ama bağımsız ekiplerin ne bulduğunu sormayı zorunlu kılar. İlginç bir ayrıntı: videoda bu çıkar ilişkisinden söz edilmiyor; aynı videonun açıklamasında ise Tolga'nın kendi sattığı sirkenin bağlantısı duruyor.

Altıncı adım, tek çalışmanın ötesine bakmak.

Daha yeni ve daha iyimser bir meta-analiz de var. Burada zincirin son bir dersi saklı.

Bu meta-analiz 789 katılımcılı on denemeyi birleştiriyor ve kiloda anlamlı bir azalma buluyor. Ancak denemeler arasındaki tutarsızlık yüksek, ve yazarların birleşik etkiden çevirdiği ortalama yedi kiloyu aşkın kayıp, Kondo denemesindeki bir iki kilonun birkaç katı. Dahası, dahil edilen çalışmalar tablosunda Lübnan'da gençlerle yapılmış bir sirke denemesi de var. PubMed'de o denemenin kaydına bakınca başlığın üstünde "RETRACTED ARTICLE" yazısı görülüyor: makale, meta-analizin yayımlanmasından birkaç gün sonra geri çekilmiş. Geri çekme dersinde konuştuğumuz damga, bu kez bir derlemenin içine gömülü bir taşa dönüşüyor. Bunun meta-analizin sonucunu ne kadar değiştirdiğini bilmiyoruz; bilmediğimizi de söylemek gerekiyor.

Berk'in Emre'ye yazacağı cevap şöyle olabilir: "Tolga'nın andığı araştırma gerçek ve iyi bir tasarımı var. Ama hafif kilolu, ilaç kullanmayan Japon yetişkinlerde, sirkeyi yemekten sonra içeceğe karıştırarak, üç ayda bir iki kilo fark bulmuş; içmeyi bırakınca kilo geri gelmiş. Gen ve kalp krizi kısmı o denemede ölçülmemiş, çalışmayı da sirke üreten bir şirket yapmış. Sek ve aç karnına içmek denemede yok; o kabı bırakıp ne yapacağına karar vermeden önce bunları bilmen iyi olur."

Emre'nin ne yapacağı ona kalmış. Berk'in işi bir hüküm vermek değil, Emre'nin elindeki bilgiyi videodakinden daha doğru hâle getirmekti.

Teslim

Teslim: Videodaki iddiaların listesi, seçilen iddianın tek cümlelik hâli, kaynağın künyesi (ya da bulunamadığı notu), PICO dökümü, videonun abarttığı ya da atladığı en az iki nokta ve videoyu sana gönderen kişiye yazacağın üç dört cümlelik cevap.

Değerlendirme ölçütleri

1. Videodaki iddialar ayrı ayrı yazılmış ve sınanmak üzere tek bir iddia seçilmiş; seçimin gerekçesi bir cümleyle verilmiş.
2. Kaynak ipuçlarından yola çıkılarak aranmış; bulunduysa künyesi eksiksiz, bulunamadıysa nerelerde arandığı yazılmış.
3. Etki büyüklüğü sayıyla verilmiş; özet sayı vermiyorsa tabloya ya da bulgular bölümüne inilmiş ya da bu eksiklik açıkça not edilmiş.
4. Videonun doğru aktardığı en az bir nokta da adıyla gösterilmiş; değerlendirme yalnızca kusur listesinden oluşmuyor.
5. Hayvan çalışmasından, vekil ölçümden ya da tahmini hesaptan gelen bir iddia varsa ölçülmüş sonuçtan ayrılmış.
6. Son cevap bir hüküm dayatmıyor; karşıdaki kişinin karar verirken bilmesi gerekenleri sade bir dille veriyor.

Kapanış

1. Bir iddiayı sınamanın ilk işi onu tek, sınanabilir bir cümleye indirmektir; dört iddiayı aynı anda kovalayan okur hiçbirini yakalayamaz.
2. Kaynağın var olması zincirin başıdır, sonu değildir: tasarım, katılımcılar, etkinin büyüklüğü, bırakınca ne olduğu ve kimin parasıyla yapıldığı ayrı ayrı sorulur.
3. Dürüst bir sonuç çoğu zaman "doğru" ya da "yalan" değil, "şu kadarı doğru, şu kısmı eklenmiş" biçiminde kurulur.

Sonraki derse köprü

Bu atölyede tek bir şirketin tek bir denemesinden başlayıp iki derlemeye ulaştık ve okurun bütün tartma işini kendi başına yaptığını gördük. Oysa bazı konularda bu tartma işini bir uzman kurulu üstlenir ve sonunda okura tek bir cümle bırakır. Sıradaki derste böyle bir kılavuz cümlesini ele alıp iki ayrı şeyi ayırmayı deneyeceğiz: önerinin ne kadar güçlü yapıldığını ve arkasındaki kanıtın ne kadar kesin olduğunu.