Renk araştırmaları ve tekrarlama krizi

Kısa cevap

2010'larda psikolojinin pek çok ünlü bulgusu, bağımsız ekiplerce tekrarlandığında daha küçük ya da hiç çıkmadı; bu durum "tekrarlama krizi" diye anıldı ve renk araştırmaları da bundan payını aldı. Krizin başlıca nedenleri küçük örneklemler, yalnız anlamlı sonuçların yayımlanması ve analiz kararlarının veriyi gördükten sonra verilmesiydi; ön kayıt, büyük örneklemler ve birlikte yürütülen tekrarlar bu sorunlara karşı geliştirildi. Renk deneylerinin buna eklenen kendine özgü bir sorunu var: "kırmızı" dediğimiz uyaran, kalibre edilmemiş iki ekranda iki ayrı renktir ve ekranın yarattığı kayma, deneyin ölçmeye çalıştığı farktan büyük olabilir.

Tekrarlama nedir, neden önemlidir?

Bir bilimsel bulgunun değeri, onu ilk bulan ekibin itibarından değil, başka ekipler aynı yöntemi uyguladığında ne olduğundan gelir. Bir sonuç yalnız bir laboratuvarda, bir örneklemde ve bir analiz yoluyla görülüyorsa, o sonucun bir tesadüf, bir yöntem hatası ya da o laboratuvara özgü bir koşul olmadığını bilemeyiz.

2015'te çok sayıda araştırmacının ortak adıyla yayın yapan Open Science Collaboration, üç psikoloji dergisinde yayımlanmış 100 deneysel ve ilişkisel çalışmayı, yüksek güçlü tasarımlarla ve mümkün olduğunda özgün malzemelerle tekrarladı. Özgün çalışmaların yüzde 97'si istatistiksel olarak anlamlı sonuç bildirmişti. Tekrarlarda bu oran yüzde 36'ya düştü. Tekrar edilen etkilerin büyüklüğü, özgün etkilerin ortalama yarısıydı.

Bu sonuç "psikoloji bulgularının üçte ikisi yanlış" anlamına gelmez. Bir tekrarın anlamlı çıkmaması, özgün etkinin sıfır olduğunu kanıtlamaz; yalnız etkinin bildirilenden küçük ya da koşula bağlı olabileceğini gösterir. Ama genel tablo açıktır: yayımlanmış etkiler, sistematik olarak, gerçekte olduklarından büyük görünüyordu. PS-05'te kırmızı etkisinin üç kolunda görülen örüntü, yani ilk çalışmaların sonrakilerden büyük etkiler bulması, bu genel tablonun bir örneğiydi.

Birinci neden: küçük örneklem

Bir deneyin, var olan bir etkiyi yakalama olasılığına istatistiksel güç denir. Güç, örneklemin büyüklüğüne ve aranan etkinin boyutuna bağlıdır. Küçük bir etkiyi küçük bir örneklemle aramak, bir odada iğneyi loş ışıkta aramaya benzer: çoğu zaman bulamazsınız.

Az bilinen bir sonuç ise şudur: düşük güç yalnız gerçek etkileri kaçırmaya yol açmaz, anlamlı çıkan sonuçların güvenilirliğini de düşürür. Katherine Button ve arkadaşları 2013'te bunu sinirbilim çalışmaları üzerinden gösterdi. Düşük güçlü çalışmalarda anlamlı bir sonucun gerçek bir etkiyi yansıtma olasılığı azalır; üstelik bu çalışmalarda anlamlı çıkan etkiler, gerçek büyüklüklerini aşan tahminler olma eğilimindedir. Sonuç, düşük tekrarlanabilirliktir.

Renk araştırmalarında bu sorun özellikle ağırdır, çünkü aranan etkiler çoğu zaman küçüktür. PS-05'teki çekicilik meta-analizi, erkeklerin değerlendirmesinde d = 0,26 büyüklüğünde bir etki tahmin ediyordu. Bu büyüklükte bir farkı güvenilir biçimde yakalamak için ne kadar katılımcı gerektiğini hesaplayabiliriz. İki grubu karşılaştıran bir deneyde, yüzde beşlik anlamlılık düzeyinde ve yüzde seksen güçle d = 0,26'lık bir etkiyi yakalamak için grup başına yaklaşık 233 kişi gerekir; toplamda neredeyse beş yüz katılımcı. Aynı etki grup başına yirmi kişiyle aranırsa, deneyin gücü yaklaşık yüzde on üçe düşer. Başka bir deyişle, etki gerçekten var olsa bile, böyle bir deney onu yaklaşık sekiz denemeden yalnız birinde yakalar. Yakaladığı o tek seferde de bulduğu fark, gerçek farktan büyük olmak zorundadır, çünkü ancak şans eseri büyük çıkan farklar bu kadar küçük bir örneklemde anlamlı olabilir.

İkinci neden: çekmecede kalan sonuçlar

Anlamlı sonuç bulan çalışma yayımlanır; bulamayan çoğu zaman araştırmacının çekmecesinde kalır. Bu seçilim, yayımlanmış literatürü gerçekte olduğundan daha "etkili" gösterir.

Yayın yanlılığı düşük güçle birleştiğinde etkisi katlanır. Küçük örneklemli bir çalışma, şans eseri büyük bir fark bulduğunda anlamlı çıkar ve yayımlanır; aynı etkiyi aynı büyüklükte bulamayan başka küçük çalışmalar yayımlanmaz. Sonuçta literatür, şansın en cömert olduğu anların bir derlemesine dönüşür. PS-05'teki sınav meta-analizinde kırmızının etkisi, çekmecede kalmış olası sonuçlar hesaba katılınca ortadan kalkıyordu; mekanizma budur.

Üçüncü neden: veriden sonra verilen kararlar

Bir veri setini analiz etmenin birçok makul yolu vardır: hangi katılımcıların dışarıda bırakılacağı, hangi ölçümün asıl sonuç sayılacağı, hangi karşılaştırmanın yapılacağı. Bu kararlar veriye bakıldıktan sonra verilirse, araştırmacı farkında olmadan en "ilginç" sonucu veren yolu seçebilir. Brian Nosek ve arkadaşları, bu sorunu bir hipotez sınamak ile veriden sonra bir açıklama üretmek arasındaki farkın karışması olarak tanımlar ve çözüm olarak ön kaydı önerir.

Ön kayıt, analizi dondurmaz; ama sınanan şey ile keşfedilen şeyi ayırır. Önceden kayıtlı bir analiz beklenen sonucu vermezse, bu sonuç da görünür hâle gelir. PS-05'teki çekicilik meta-analizinde, önceden kaydedilmiş çalışmaların kadın değerlendiriciler için daha zayıf bir etki gösterme eğilimi, bu ayrımın pratikte nasıl işe yaradığına bir örnektir.

Renk deneyinin kendi sorunu: uyaran

Buraya kadarki sorunların hepsi psikolojinin geneline aittir. Renk araştırmalarının bir sorunu daha var: bağımsız değişkenin kendisi, yani gösterilen renk, çoğu zaman tam olarak bilinmez. PS-01, birçok renk deneyinde tonun açıklık ve doygunlukla karıştığını anlatmıştı. Bu derste daha temel bir soruya bakıyoruz: deneyde "kırmızı" olarak kaydedilen RGB değerleri, katılımcının gözüne hangi rengi ulaştırdı?

Bir ekran, kendisine gönderilen sayıları kendi fosforlarının ya da ışık kaynaklarının karışımına ve kendi parlaklık eğrisine göre ışığa çevirir. Aynı sayılar, farklı ekranlarda farklı renkler üretir. David Brainard 1989'da bir renk monitörünün nasıl kalibre edileceğini tarif ederken bu ilişkinin doğrudan ölçülemeyecek kadar çok sayıda uyaran içerdiğini, bu yüzden ekranın davranışı hakkında varsayımlar yapmak ve bunları ölçümlerle sınamak gerektiğini yazar. Kalibrasyon, her birincil rengin tayfının, giriş değeri ile ışık çıkışı arasındaki ilişkinin ve ekranın farklı noktalarındaki parlaklık farklarının ölçülmesini gerektirir.

Kriz neyi değiştirdi?

Tekrarlama krizi bir yıkım hikâyesi olarak anlatılmaya elverişlidir, ama asıl sonucu bir yöntem değişikliğidir. Büyük örneklemli, çok laboratuvarlı tekrarlar yaygınlaştı. Nosek ve arkadaşlarının belirttiği gibi, ön kayıt için hizmetler bütün disiplinlerde erişilebilir hâle geldi ve uygulama hızla yaygınlaştı. Meta-analizler yayın yanlılığını düzeltmek için yöntemler geliştirdi ve sonuçlarını buna göre raporladı. Renk araştırmaları için buna bir madde daha eklenmeli: uyaranın ölçülmesi ve raporlanması. PS-01'de anlatılan derleme, renk deneylerinin çoğunun ton, açıklık ve doygunluğu birbirinden ayırmadığını ve ortam ışığı gibi koşulları kontrol etmediğini belirtiyordu; yalnız RGB değerlerini değil, ölçüm cihazıyla belirlenmiş renk koordinatlarını raporlamak, bu eksikliği kapatmanın en doğrudan yoludur.

Kırmızı etkisi hikâyesi, bu değişimin küçük bir örneğidir. İlk bulguyu yayımlayan araştırmacının, sonradan etkinin küçük ve tutarsız olduğunu gösteren meta-analizin yazarları arasında yer alması, bilimin kendini düzeltebildiğinin iyi bir işaretidir.

Örnek — aynı sayılar, iki ekran, dört ten

Kartın sorusu şu: renk deneylerinde ekran kalibrasyonu neden önemlidir? Cevabı bir hesapla görelim. Bir deneyin uyaranları sRGB standardına göre hazırlanmış olsun. Aynı dosya iki ayrı "yanlış" ekranda gösterilsin: biri renk yönetimi olmadan çalışan, daha geniş gamlı bir Display P3 ekranı; öbürü doğru birincil renklere ama farklı bir parlaklık eğrisine, 2,4 gammaya sahip bir ekran. Her iki durumda da katılımcının gördüğü rengin, doğru bir sRGB ekranında görülecek renkten ne kadar saptığını ΔE00 ile ölçüyoruz. Ten örnekleri için ayrıca kırmızılık eksenindeki kaymayı (Δa\*) veriyoruz.

Tablonun iki okuması var. Birincisi deney tasarımıyla ilgilidir. PS-05'te dört ten örneğinde kırmızılığı üç birim artırmanın ΔE00 cinsinden iki ile iki buçuk birimlik bir fark yarattığını görmüştük; yüzün kırmızılığını değiştiren deneyler tam olarak bu büyüklükte farklarla çalışır. Yönetimsiz bir P3 ekranı ise aynı dosyadaki ten örneklerini, hiçbir deney yapılmadan, kırmızı eksende 3,3 ile 5,7 birim kaydırır. Yani ekranın kendi hatası, deneyin ölçmeye çalıştığı farktan büyüktür. Böyle bir ekranda "daha kırmızı" koşul ile kontrol koşulu arasındaki fark, başka bir laboratuvardaki kontrol koşulundan küçük olabilir.

İkinci okuma eşitlikle ilgilidir. Gamma hatası tenleri eşit etkilemez: en açık örnekte açıklık yalnız 0,9 birim düşerken, en koyu örnekte 4,9 birim düşer. Parlaklık eğrisindeki bir sapma, koyu tonları açık tonlardan daha çok ezer; bu yüzden kalibre edilmemiş bir ekranda koyu tenli yüzlerin gölge ayrıntısı ve rengi, açık tenli yüzlerinkinden daha çok bozulur. Ten rengiyle ilgili bir algı deneyi kalibre edilmemiş ekranlarda yapılıyorsa, bulunan farkların bir kısmı katılımcıların değil ekranların farkı olabilir ve bu hata tenler arasında eşit dağılmaz.

Hesabın sınırları da yazılmalıdır. Gerçek ekranlar burada varsayılan iki durumdan çok daha çeşitlidir; parlaklık ayarı, beyaz noktası ve oda ışığı da sonucu değiştirir. Ama yön açıktır: uyaranın ölçülmediği bir renk deneyi, neyi değiştirdiğini tam olarak bilmeyen bir deneydir. Ekranlar arası renk tercümesinin nasıl yapıldığı EK-13'te, gamanın mantığı EK-05'te anlatılır.

Sık yapılan yanlış

Özet

1. Open Science Collaboration'ın 100 psikoloji çalışmasını tekrarlaması, anlamlı sonuç oranının yüzde 97'den yüzde 36'ya düştüğünü ve etkilerin ortalama yarıya indiğini gösterdi.
2. Küçük örneklemler, yayın yanlılığı ve veriden sonra verilen analiz kararları yayımlanmış etkileri şişirir; büyük örneklemler, ön kayıt ve yanlılık düzeltmeli meta-analizler buna karşı geliştirildi.
3. Renk deneylerinde ekran kalibrasyonu gereklidir: yönetimsiz bir geniş gamlı ekran ten örneklerini kırmızı eksende deneysel farklardan daha çok kaydırabilir ve gamma hataları koyu tenleri açık tenlerden daha çok bozar.

Kendini sına

1. (Kolay) Open Science Collaboration'ın tekrarlarında anlamlı sonuç oranı ne oldu?
2. (Kolay) Ön kayıt neyi, ne zaman kaydetmeyi gerektirir?
3. (Orta) Renk deneylerinde ekran kalibrasyonu neden önemlidir?
4. (Orta) Düşük istatistiksel güç, anlamlı çıkan sonuçların güvenilirliğini neden düşürür?
5. (Zor) Yayın yanlılığı ile düşük güç bir araya geldiğinde yayımlanmış literatür neden sistematik olarak şişer?
6. (Zor) Tablodaki gamma sütunu, ten rengiyle ilgili algı deneylerinin eşitliği hakkında ne söyler?

Cevaplar

1. Özgün çalışmaların yüzde 97'si anlamlıyken tekrarların yüzde 36'sı anlamlı çıktı; tekrar etkileri özgün etkilerin yarısı kadardı («Tekrarlama nedir, neden önemlidir?»).
2. Araştırma sorusunun, hipotezin ve analiz planının, veri toplanmadan ya da sonuçlar görülmeden önce, zaman damgalı ve değiştirilemez biçimde kaydedilmesini («Üçüncü neden: veriden sonra verilen kararlar»).
3. Çünkü aynı RGB değerleri farklı ekranlarda farklı renkler üretir ve bu fark, deneyin ölçmeye çalıştığı farktan büyük olabilir. Yönetimsiz bir P3 ekranı ten örneklerini kırmızı eksende 3,3–5,7 birim kaydırır; yüz kırmızılığı deneyleri ise üç birim civarındaki farklarla çalışır. Uyaran ölçülmezse, deneyin neyi değiştirdiği tam olarak bilinmez («Örnek — aynı sayılar, iki ekran, dört ten»).
4. Düşük güçlü çalışmalarda gerçek etkiler az yakalanır, ama şans eseri büyük çıkan farklar anlamlı olur; böylece anlamlı sonuçların içinde gerçek olmayanların ve büyüklüğü abartılmış olanların payı artar («Birinci neden: küçük örneklem»).
5. Küçük örneklemli çalışmalar arasında şans eseri büyük fark bulanlar anlamlı çıkıp yayımlanır, bulamayanlar yayımlanmaz; literatür şansın cömert olduğu sonuçların bir derlemesine dönüşür ve etki gerçekte olduğundan büyük görünür («İkinci neden: çekmecede kalan sonuçlar»).
6. Parlaklık eğrisindeki bir sapma koyu tonları daha çok ezdiği için en koyu ten örneğinin açıklığı 4,9 birim, en açığınınki 0,9 birim düşer; kalibre edilmemiş ekranlarda yapılan deneylerde hata tenler arasında eşit dağılmaz ve bulunan farkların bir kısmı ekrandan gelebilir («Örnek — aynı sayılar, iki ekran, dört ten»).

Kaynaklar

• Open Science Collaboration, «Estimating the reproducibility of psychological science», Science, 349(6251), aac4716, 2015.
• Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J. ve Robinson, E. S. J., «Power failure: why small sample size undermines the reliability of neuroscience», Nature Reviews Neuroscience, 14(5), 2013, s. 365–376.
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C. ve Mellor, D. T., «The preregistration revolution», PNAS, 115(11), 2018, s. 2600–2606.
• Brainard, D. H., «Calibration of a computer controlled color monitor», Color Research & Application, 14(1), 1989, s. 23–34.
• IEC 61966-2-1:1999, sRGB renk uzayı tanımı.

Sonraki adım

Kalibre edilmiş bir ekran bile tek bir duyuya seslenir; oysa renk çoğu zaman öbür duyularla birlikte algılanır. PS-13 renkten tada uzanan bir soruya geçer: beyaz şarabın kırmızıya boyanmasıyla uzmanların tadım notlarının nasıl değiştiğine, tabağın ve ambalajın renginin tatlılık beklentisini nasıl şekillendirdiğine ve beklentinin tat algısını nasıl etkilediğine. Araştırma yöntemlerinin daha genel bir tanıtımı için UZ-02'ye bak.