Bir renk araştırmasını eleştirel okumak

Kısa cevap

«Mavi oda verimliliği yüzde 25 artırıyor» gibi bir haber başlığında sorulacak ilk soru şudur: bu sayı hangi çalışmadan geliyor ve orada mavi neyle karşılaştırılmış? Yüzde 25 göreli bir farktır; neye göre, hangi ölçüyle ve kaç kişide bulunduğu bilinmeden anlamsızdır ve başlıklardaki abartmanın önemli bir kısmı haberden önce, basın bülteninde ya da makalenin özetinde başlar. Bu yüzden eleştirel okuma kaynağa geri gitmekle başlar, sonra etki büyüklüğüne, uyaranın nasıl tanımlandığına, desene ve bulgunun başka çalışmalarla birlikte ne söylediğine bakar.

Başlık, bülten, özet, bulgu

Bir renk araştırmasının okura ulaşana kadar geçtiği yolu düşünelim. Araştırmacılar bir deney yapar ve bulgularını bir makalede raporlar. Makalenin başında bir özet vardır. Üniversite bir basın bülteni yazar. Gazeteci bülteni okur, belki makaleye bakar ve bir haber yazar. Editör habere bir başlık koyar. Her aşamada metin kısalır ve her kısalmada bir şey düşer ya da bir şey eklenir.

Bu zincirin halkalarından hangisinin abartmaya daha yatkın olduğu ölçülmüştür.

Bu çalışma sağlık haberleri üzerinedir, renk üzerine değil; ama ortaya koyduğu mekanizma genel bir okuma dersidir. Abartılı bir başlık gördüğünüzde suçu gazeteciye yüklemeden önce bültene ve makaleye bakmak gerekir. Çoğu zaman abartma zincirin daha başında, bilimin kendi kurumlarında başlar.

Zincirin ilk halkası da masum değildir. Makalenin özeti, bulguların tamamını değil yazarların öne çıkardığı kısmını anlatır.

İki çalışma da tıp araştırmalarından gelir ve bulunan oranlar renk araştırmasına doğrudan taşınamaz. Ama mekanizma alana özgü değildir. Okur için pratik ders şudur: özet bir reklam metni değildir ama bir özetlemedir, ve özetleyen kişi yazardır. Bulguyu, makalenin sonuçlar bölümündeki tablolar ve birincil sonuç değişkeni gösterir.

Göreli fark, mutlak fark

«Yüzde 25 artış» bir oran, yani göreli bir farktır.

Beyaz odada saatte ortalama 10 görev tamamlayan bir grubun mavi odada 12,5 görev tamamlaması yüzde 25'lik bir artıştır; ama saatte 4 görevden 5 göreve çıkmak da yüzde 25'tir. Göreli fark, temeli söylemediği için iki durumu ayırt etmez. Üstelik «verimlilik» sözcüğü hangi ölçüyü karşılıyor, tamamlanan görev sayısını mı, hata oranını mı, bir anketteki öz değerlendirmeyi mi? Bu üçü farklı şeyler ölçer.

PS-05 etki büyüklüğünü, farkın ne kadar büyük olduğunu gösteren ve örneklem büyüklüğünden bağımsız bir ölçü olarak tanımlamıştı. Yüzde 25'i bir etki büyüklüğüne çevirmek için grupların ortalamalarının yanında dağılımlarını da bilmek gerekir. Ortalamalar 10 ve 12,5, standart sapmalar 5 ise etki d = 0,5'tir; standart sapmalar 2 ise d = 1,25'tir. Aynı başlık, çok farklı iki bulguyu anlatabilir.

Uyaran raporlaması: hangi mavi?

UZ-02, alanın önde gelen araştırmacılarından Elliot'un, renk ve psikolojik işlev araştırmalarında rengin çoğu zaman tayf düzeyinde belirtilip denetlenmediğini ve bunun hangi renk özelliklerinin sınandığını bilmeyi olanaksız kıldığını yazdığını aktarmıştı. Okur için bu bir denetim sorusuna dönüşür: makale «mavi oda» dediğinde hangi maviyi kastediyor?

Aşağıdaki örnekte göreceğimiz gibi, «mavi» sözcüğü ışığın yüzde 55'ini yansıtan açık bir duvarı da, yüzde 5'ini yansıtan koyu bir duvarı da anlatabilir. İkinci oda çok daha karanlıktır. Böyle bir odada bulunan bir etki, tonun değil karanlığın etkisi olabilir; PS-01 bunu karıştırıcı değişken olarak tanımlamıştı. Rengi yalnız adıyla bildiren bir makale, okura bu soruyu yanıtlama olanağı vermez.

Tek çalışma değil, birikim

Tek bir çalışma, ne kadar iyi yapılmış olursa olsun, bir bulgunun başlangıcıdır. Asıl soru, aynı soruyu soran bütün çalışmalar bir araya getirildiğinde ne görüldüğüdür. PS-05 bunu yapan yöntemi, meta-analizi tanıtmıştı.

Bu sonuç, okurun elinde bir desen olarak kalmalıdır: bir alandaki ilk çalışmalar çoğu zaman en büyük etkileri bildirir, sonraki çalışmalar bu etkileri küçültür. PS-06'nın tanımladığı yayın yanlılığı, anlamlı sonuç bulan çalışmaların yayımlanıp ötekilerin çekmecede kalmasıyla bu deseni besler. Bir haber «yeni bir çalışma gösterdi ki» diye başlıyorsa, okurun sorusu şudur: aynı konuda daha önce ne bulunmuştu ve bu çalışma o birikimin neresinde duruyor?

RM-02, mavi ve kırmızı odaların ruh hâli üzerindeki etkisine dair kanıtın belirsiz olduğunu göstermişti. «Mavi oda verimliliği artırıyor» başlığını okuyan biri, bu birikimi bilerek okur.

On maddelik kontrol listesi

Bu dersin ve serinin araştırma derslerinin sorularını, bir renk haberini ya da makalesini okurken sırayla sorulacak on maddeye dökebiliriz.

1. Kaynak: Haber hangi çalışmaya dayanıyor, makale hakemli bir dergide mi yayımlanmış, bülten ile makale aynı şeyi mi söylüyor?
2. Karşılaştırma: Renk neyle karşılaştırılmış, beyaz, gri, başka bir renk ya da hiçbir şeyle mi?
3. Ölçü: Sonuç nasıl ölçülmüş, davranışla mı, performans testiyle mi, öz değerlendirmeyle mi?
4. Fark: Sayı göreli mi mutlak mı, temel değer ne?
5. Etki büyüklüğü: Fark standart sapmaya göre ne kadar büyük, güven aralığı ne kadar geniş?
6. Örneklem: Kaç kişi, kimler, hangi toplumdan; sonuç bu örneklemin ötesine ne kadar genellenebilir?
7. Uyaran: Renk ölçülmüş mü, açıklık ve kroma denetlenmiş mi, aydınlatma ve süre bildirilmiş mi?
8. Desen: Katılımcılar rastgele atanmış mı, deneyi yürüten kör mü, çalışma önceden kaydedilmiş mi?
9. Özet ve bulgu: Özetteki iddia birincil sonuç değişkeninin sonucuyla örtüşüyor mu?
10. Birikim: Başka çalışmalar ve meta-analizler aynı soruda ne buluyor?

Bu liste bir puanlama cetveli değildir; bir çalışmanın bir maddeyi karşılamaması onu çöpe atmayı gerektirmez. Ama her karşılanmayan madde, sonucun hangi açıklamaya açık kaldığını gösterir ve haberin iddiasını ne kadar ciddiye alacağınızı belirler.

Kartın sorusu: ilk hangi soru?

Başlık okurken ilk soru, listenin ilk iki maddesini birleştirir: bu sayı hangi çalışmadan geliyor ve orada mavi neyle karşılaştırılmış? Kaynağa geri gitmeden başlığın içindeki hiçbir sayı değerlendirilemez, çünkü yüzde 25'in neye göre olduğu, hangi ölçüyle ve kaç kişide bulunduğu kaynakta yazılıdır.

Bu soru bir kez yanıtlandığında öteki sorular sırayla açılır. Kaynak bulunamıyorsa ya da bülten makalenin söylemediğini söylüyorsa, okur sorunun zaten büyük kısmını yanıtlamış olur: iddianın bir kanıtı yoktur ya da kanıt iddiayı taşımaz.

Örnek — iki «mavi oda» ve dört ten

Bir haber, bir ofis deneyinde mavi odada çalışanların yüzde 25 daha verimli olduğunu bildiriyor olsun. Varsayımsal olarak makaleye gittiğimizde, 20 kişilik mavi oda grubunun saatte ortalama 12,5, 20 kişilik beyaz oda grubunun 10 görev tamamladığını, iki grupta da standart sapmanın 5 olduğunu görelim.

Bu, d = 0,5'lik bir etkidir. Ama grup başına 20 kişiyle bu büyüklükte bir etkiyi yakalama olasılığı yalnız yüzde 34'tür ve etki büyüklüğünün yüzde 95 güven aralığı yaklaşık −0,13 ile 1,13 arasındadır: veriler, sıfır ile çok büyük bir etki arasındaki her şeyle uyumludur. Aynı etkiyi yüzde 80 olasılıkla yakalamak için grup başına 64 kişi gerekirdi.

Şimdi makalenin rengi yalnız «mavi» diye bildirdiğini varsayalım ve iki olası maviyi hesaplayalım. Açık bir mavi, #A7C7E7, CIELAB'de 78,9 açıklıktadır ve üzerine düşen ışığın yaklaşık yüzde 55'ini yansıtır. Koyu bir mavi, #1F3A93, 27,9 açıklıktadır ve yalnız yüzde 5'ini yansıtır. Yüze ulaşan ışığın yüzde 70'inin doğrudan gün ışığından, yüzde 30'unun duvardan yansıyarak geldiğini varsaydığımız basit bir modelde, açık mavi oda beyaz duvarlı bir odanın ışığının yüzde 86'sını, koyu mavi oda yüzde 72'sini verir. İki «mavi oda» arasında, tondan önce, ışık miktarında bir fark vardır.

Duvardan yansıyan mavimsi ışık tenleri de değiştirir. Beyaz dengesi gün ışığına sabitlenmiş bir kamera, açık mavi odada en açık teni, F1C7A9'yu, gün ışığındaki görünüşünden 2,3, koyu mavi odada 2,9 birim uzaklaştırır; en koyu teni, 4A2C1D'yi, iki odada da 1,0 birim. Açık ten, üzerine düşen ışığın tonunu en güçlü biçimde yansıttığı için odanın rengini en çok taşır. Gözümüz ise ışığa uyum sağlar: tam uyum varsayıldığında dört tenin kayması 0,1 ile 0,4 arasına iner, yani oturduğumuz yerde fark etmeyiz. Bu hesaplar bir modeldir; gerçek bir odada duvarın, pencerenin ve lambaların tayfı ölçülmelidir.

Kontrol listesine göre bu varsayımsal çalışma dördüncü, beşinci, altıncı ve yedinci maddelerde zayıftır. Haber yanlış değildir; ama iddianın taşıdığından çok daha az şey söylediği açıktır.

Sık yapılan yanlış

Özet

1. Bir renk haberini okurken ilk soru, sayının hangi çalışmadan geldiği ve rengin neyle karşılaştırıldığıdır; kaynağa geri gitmeden başlıktaki hiçbir sayı değerlendirilemez. Sağlık haberlerinde abartmanın önemli bir kısmı basın bülteninde başlar, özetler de çarpıtma içerebilir.
2. Göreli fark temel değeri söylemez; etki büyüklüğü ve güven aralığı farkın ne kadar büyük ve ne kadar kesin olduğunu gösterir. Uyaran raporlaması, «mavi»nin hangi mavi olduğunu söyler: açık ve koyu iki mavi, bir odaya çok farklı miktarda ışık verir.
3. Tek bir çalışma birikimin bir parçasıdır; Gnambs'ın kırmızı ve zihinsel başarım meta-analizine göre ilk çalışmalardaki büyük etkiler sonraki çalışmalarda küçülür ve yayın yanlılığı düzeltilince kaybolur. On maddelik liste kaynak, karşılaştırma, ölçü, fark, etki büyüklüğü, örneklem, uyaran, desen, özet ve birikimi sorar.

Kendini sına

1. (Kolay) Göreli fark ile mutlak fark arasındaki ayrım nedir?
2. (Kolay) Sumner ve arkadaşlarına göre bülten abartılı olduğunda haberlerde benzer abartmanın görülme oranı nasıl değişir?
3. (Orta) "Mavi oda verimliliği %25 artırıyor" başlıklı bir haberi okurken ilk hangi soruyu sorarsınız?
4. (Orta) Bir makalenin özetinde bulgu yerine neden birincil sonuç değişkenine bakmak gerekir?
5. (Zor) Gnambs'ın meta-analizi, tek bir çalışmanın bulgusunu okurken nasıl bir desene dikkat etmeyi öğretir?
6. (Zor) Örnekte iki «mavi oda» neden aynı deney koşulu sayılamaz ve bu dört teni nasıl etkiler?

Cevaplar

1. Göreli fark, farkı bir koşula oranla yüzde olarak verir; mutlak fark ölçünün kendi birimindedir. Saatte 10'dan 12,5 göreve ve 4'ten 5 göreve çıkmak aynı yüzde 25'tir, ama mutlak farkları 2,5 ve 1 görevdir. Bkz. "Göreli fark, mutlak fark".
2. Davranış önerisi, neden-sonuç iddiası ve hayvandan insana çıkarım için oranlar, bülten abartılı olduğunda yüzde 58, 81 ve 86, abartılı olmadığında yüzde 17, 18 ve 10'dur. Bkz. "Başlık, bülten, özet, bulgu".
3. Bu sayı hangi çalışmadan geliyor ve orada mavi neyle karşılaştırılmış? Kaynağa geri gitmeden yüzde 25'in neye göre olduğu, hangi ölçüyle ve kaç kişide bulunduğu bilinemez; kaynak bulunamıyorsa ya da bülten makalenin söylemediğini söylüyorsa, iddianın ne kadar zayıf olduğu zaten anlaşılmış olur. Bkz. "Kartın sorusu: ilk hangi soru?".
4. Çünkü özetler çarpıtma içerebilir: Boutron ve arkadaşlarının incelediği, birincil sonucunda fark bulunmayan çalışmaların özetlerinin yargı bölümlerinin yüzde 58,3'ünde çarpıtma vardı. Birincil sonuç değişkeni, çalışmanın asıl sınamak istediği şeydir. Bkz. "Başlık, bülten, özet, bulgu".
5. Bir alandaki ilk çalışmaların sonrakilerden daha büyük etkiler bildirdiği ve yayın yanlılığı düzeltildiğinde etkinin kaybolabildiği deseni. Bu yüzden yeni bir çalışmayı, aynı sorudaki birikimin neresinde durduğuna bakarak okumak gerekir. Bkz. "Tek çalışma değil, birikim".
6. Çünkü açık mavi, #A7C7E7, ışığın yaklaşık yüzde 55'ini, koyu mavi, #1F3A93, yüzde 5'ini yansıtır; modelde yüze ulaşan ışık beyaz duvarlı odanınkinin yüzde 86'sı ve 72'sidir. Koyu odadaki bir etki karanlığın etkisi olabilir. Sabit beyaz dengeli bir kamera en açık teni en çok, 2,3 ve 2,9 birim, en koyu teni 1,0 birim kaydırır; uyum sağlamış göz için kayma 0,4'ün altındadır. Bkz. "Örnek".

Kaynaklar

• Boutron, I., Dutton, S., Ravaud, P. ve Altman, D. G., «Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes», JAMA 303(20): 2058–2064, 2010.
• Sumner, P. ve ark., «The association between exaggeration in health related science news and academic press releases: retrospective observational study», BMJ 349: g7015, 2014.
• Elliot, A. J., «Color and psychological functioning: a review of theoretical and empirical work», Frontiers in Psychology 6: 368, 2015.
• Boutron, I. ve Ravaud, P., «Misrepresentation and distortion of research in biomedical literature», PNAS 115(11): 2613–2619, 2018.
• Gnambs, T., «Limited evidence for the effect of red color on cognitive performance: A meta-analysis», Psychonomic Bulletin & Review 27(6): 1374–1382, 2020.

Sonraki adım

Bu ders akademinin okuma sırasındaki son dersidir. Listenin maddelerini derinleştirmek için geri dönülecek yerler şunlardır: etki büyüklüğü ve meta-analiz için PS-05, tekrarlama ve yayın yanlılığı için PS-06, mavi ve kırmızı odaların kanıtı için RM-02, uyaranı eşitlemek ve ekranı ölçmek için UZ-02, örneklemin kimlerden oluştuğu için UZ-03.