Makineler rengi nasıl sabit görür? Bilgisayarlı görüde renk

Kısa cevap

Bir kamera bir yüzeyin rengini değil, o yüzeyden yansıyan ışığı kaydeder, bu yüzden aynı muz akkor lambada turuncuya, gölgede maviye kayar ve bir makinenin onu rengiyle tanıyabilmesi için önce sahneyi aydınlatan ışığın rengini tahmin edip görüntüden çıkarması gerekir; en eski yöntemler bunu, gri dünya varsayımında sahnenin ortalamasının gri, beyaz yama varsayımında en parlak noktanın beyaz olduğunu kabul ederek yapar. Gri dünya, sahneye tek bir doygun renk hâkim olduğunda başarısız olur: geniş bir yeşil çim alanında, turuncu bir meyve yığınında ya da yakın çekim bir portrede sahnenin kendi rengini ışığın rengi sanır ve onu görüntüden siler. Öğrenen yöntemler bu hataları azaltır ama eğitildikleri kameraların ve sahnelerin sınırlarını da öğrenir; endüstride en güvenilir çözüm çoğu zaman ışığın kendisini denetim altında tutmaktır.

Kamera rengi değil, ışığı görür

KE-03 insanların aynı elbiseyi neden farklı renklerde gördüğünü, BI-13 beynin renk sabitliğini nasıl sağladığını anlatmıştı. Görme sistemi, aydınlatma değiştiğinde bile nesnelerin rengini büyük ölçüde sabit algılar. Bir kameranın böyle bir düzeneği yoktur; algılayıcısına düşen her piksel, yüzeyin yansıtımı ile ışığın tayfının çarpımıdır.

Gijsenij, Gevers ve van de Weijer'in derlemesi bu görevi birçok bilgisayarlı görü uygulamasının temel ön koşulu olarak tanımlar.

Görev iki adımdan oluşur. Önce ışığın rengi tahmin edilir; sonra görüntünün her pikseli, bu ışığın etkisini gidermek için düzeltilir. İkinci adım, FS-01'de anlatılan beyaz dengesinin kendisidir ve çoğu zaman her kanalı ayrı bir katsayıyla çarpmaktan ibarettir. BI-21, insan görmesinde renk uyumunu açıklayan von Kries hipotezini ve bu hipotezden türeyen kromatik uyum dönüşümlerini anlatmıştı; kameradaki düzeltme de aynı mantığı izler, ama koni tepkileri yerine kameranın kendi kanallarında çalışır. Bu yüzden düzeltmenin başarısı yalnız ışığın ne kadar doğru tahmin edildiğine değil, kameranın kanallarının insan konilerine ne kadar benzediğine de bağlıdır. Zor olan yine birinci adımdır.

Sorunun özü, bir pikselin renginin iki bilinmeyenin çarpımı olmasıdır. Kırmızımsı bir piksel, kırmızı bir yüzeyin beyaz ışıkta ya da gri bir yüzeyin kırmızımsı ışıkta görünüşü olabilir. Tek bir pikselden ikisini ayırmak olanaksızdır; bütün yöntemler bu yüzden sahne hakkında bir varsayım ya da önceden öğrenilmiş bir bilgi kullanır.

İki eski varsayım

En eski ve en basit iki varsayım, sahnenin bütününe dair bir beklentiye dayanır. FS-01, gri dünya varsayımını beyaz dengesi bağlamında tanımlamıştı: sahnedeki yüzeylerin ortalaması nötr gri kabul edilir ve görüntünün ortalama rengindeki sapma ışığa atfedilir. Bu fikrin kaynaklarından biri Buchsbaum'un 1980 tarihli nesne rengi algısı modelidir.

İkinci varsayım, sahnenin en parlak noktasına bakar.

Finlayson ve Trezzi 2004'te bu iki yöntemin aslında aynı formülün iki ucu olduğunu gösterdi.

Formülün anlamı sezgiseldir. Gri dünya bütün piksellerin sıradan ortalamasını alır; beyaz yama yalnız en parlak olanı sayar. Aradaki dereceler, parlak piksellere giderek daha çok ağırlık veren ortalamalardır. Altıncı derece, ne her pikseli eşit sayar ne de tek bir piksele güvenir.

Gijsenij ve arkadaşlarının sınıflamasındaki ikinci aile, gama dayalı yöntemlerdir. Bu yöntemler, belirli bir ışık altında hangi renklerin görülebileceğini, yani o ışığın «gamını» önceden öğrenir; bir görüntüdeki renklerin hangi ışığın gamına sığdığına bakarak ışığı tahmin ederler. Gri dünya gibi tek bir ortalamaya değil, görüntüde bulunan renklerin bütün kümesine dayandıkları için daha çok bilgi kullanırlar; ama gamların öğrenildiği kamera ve yüzey kümesine bağımlıdırlar. Üçüncü aile, öğrenen yöntemler, bu fikri genelleştirir: ışık ile görüntü arasındaki ilişkiyi doğrudan verilerden öğrenir.

Ne kadar yanlış? Açısal hata

Bir tahminin ne kadar iyi olduğunu ölçmek için tahmin edilen ışık rengi ile gerçek ışık rengi karşılaştırılır.

Kartın sorusunu bu ölçüyle sınayalım. Standart bir renk hedefinin, ColorChecker'ın yirmi dört yamasının ölçülmüş yansıtım tayflarını kullanarak birkaç sahne kurduk ve hepsini akkor lamba ışığında (CIE A) «çektik». Kamera olarak sRGB'nin doğrusal kanallarını kullandık. Sonra üç yöntemle ışığın rengini tahmin ettik.

Tablo iki varsayımın zayıf noktalarını ayrı ayrı gösterir. Beyaz yama, sahnede gerçekten beyaz bir yüzey olduğunda neredeyse kusursuzdur; beyaz çıkarıldığında hatası 0,1°'den 5,9°'ye çıkar, çünkü en parlak nokta artık ışığın rengini değil, renkli bir yüzeyin rengini taşır. Gri dünya ise renklerin dengeli dağıldığı sahnelerde makul, tek bir doygun renk hâkim olduğunda kötüdür: doygun yeşilin ya da turuncunun sahnenin yüzde 70'ini kapladığı durumlarda hata yaklaşık üç katına, 14,6° ve 14,9°'ye çıkar.

Kartın sorusu: gri dünya ne zaman başarısız olur?

Gri dünyanın başarısızlığı, varsayımın kendisinden doğar. Sahnenin ortalaması gri değilse, yöntem ortalamadaki sapmayı ışığa atfeder ve düzeltme adımında bu sapmayı görüntüden siler. Geniş bir yeşil çim alanının ortalaması yeşildir; gri dünya bunu yeşilimsi bir ışık sanar ve görüntüyü macentaya doğru düzeltir. Turuncu bir portakal yığınının ortalaması turuncudur; yöntem ışığı turuncu sanar, portakalları soldurur ve görüntüyü maviye çeker.

Tablonun ilginç bir ayrıntısı, her baskın rengin aynı etkiyi yapmadığıdır. Yaprak yeşili ve gökyüzü mavisi sahnenin yüzde 70'ini kapladığında gri dünyanın hatası büyümez, çünkü ColorChecker'daki bu yamaların rengi görece az doygundur ve ortalamayı griden fazla uzaklaştırmaz. Başarısızlığın büyüklüğü, baskın rengin ne kadar geniş bir alanı kapladığına ve ne kadar doygun olduğuna birlikte bağlıdır.

Kartın sorusunun cevabı buradan çıkar: gri dünya, sahnenin geniş bir bölümünü tek bir doygun rengin kapladığı sahnelerde başarısız olur. Gündelik örnekleri çoktur: çimenlik bir sahada spor, bir tarlada ürün, bir tezgâhta tek tür meyve, bir duvar boyunca tek renkli bir yüzey, gün batımında turuncu bir gökyüzü. Aşağıdaki örnekte göreceğimiz gibi yakın çekim bir portre de bu sahnelerdendir.

Öğrenen yöntemler

Varsayımlara dayanan yöntemlerin yerini giderek, ışık rengi bilinen çok sayıda görüntüden öğrenen modeller aldı. Bu modeller, belirli sahne türlerinde hangi renklerin nasıl dağıldığını verilerden öğrenir; bir çim alanının yeşilini ya da bir gökyüzünün mavisini ışıkla karıştırmamayı öğrenebilirler.

Öğrenen yöntemlerin kendine özgü bir sınırı vardır: bir kameranın kaydettiği renkler, o kameranın algılayıcısının tayfsal duyarlılığına bağlıdır. Bir kameranın görüntüleriyle eğitilmiş bir model, başka bir kameranın görüntülerinde yanılabilir.

Aynı çalışma, pratik bir kaygıyı da gözetir: yazarlara göre yöntem, bir görüntüyü bir grafik işlemcisinde yaklaşık 7, bir ana işlemcide yaklaşık 90 milisaniyede değerlendirir. Bir telefonun kamerası her çekimde, çoğu zaman her önizleme karesinde bu tahmini yapmak zorundadır; bir yöntemin doğruluğu kadar hızı da onun gerçek bir cihazda kullanılıp kullanılamayacağını belirler. Kameralar arası genelleme sorunu da bu cihazlardan doğar: her yeni telefon modeli, farklı tayfsal duyarlılıklara sahip yeni bir algılayıcı getirir ve her biri için ayrı bir büyük veri kümesi toplamak pahalıdır.

Veri kümelerindeki renk yanlılığı

Öğrenen yöntemler yalnız kameranın değil, veri kümesinin içerdiği sahnelerin ve insanların sınırlarını da taşır. HS-03, eğitim verisinin yanlılığını palet modelleri için tanımlamıştı; bilgisayarlı görüde bu yanlılık, ölçülmüş sonuçlar doğurmuştur.

Bu çalışma renk sabitliği üzerine değil, yüz analizi üzerinedir; ama iki alan aynı dersi paylaşır. Bir görü sisteminin rengi ya da teni nasıl «gördüğü», ne gördüğüne bağlıdır. Ağırlıkla açık tenli yüzlerle ya da belirli ışık koşullarıyla eğitilmiş bir model, öbür tenlerde ve koşullarda daha çok yanılabilir; bunu görmenin tek yolu, sonuçları gruplara ayırarak ölçmektir. Buolamwini ve Gebru'nun yöntemi tam da budur: tek bir ortalama doğruluk vermek yerine, sonuçları deri tipine ve cinsiyete göre ayrı ayrı raporlarlar. Bütün veri kümesindeki ortalama bir doğruluk yüksek görünebilir, ama bu ortalama, en az temsil edilen grubun hata oranını gizler. Aynı ilke renk sabitliği için de geçerlidir: bir yöntemin başarısı, farklı sahne türlerinde, farklı ışıklarda ve farklı tenlerde ayrı ayrı ölçülmelidir.

Endüstride renk: ayıklama ve kalite kontrol

Rengin en eski ve en yaygın endüstriyel kullanımlarından biri, meyve ve sebzelerin ayıklanması ve sınıflandırılmasıdır.

Bir ayıklama bandı, tam da gri dünyanın başarısız olduğu türden bir sahnedir: kareyi tek tür, tek renkli ürün doldurur. Buradan endüstrinin en basit ve en güçlü çözümü çıkar: ışığın rengini tahmin etmek yerine onu sabit tutmak. Işık kapalı bir kabinde, bilinen ve değişmeyen bir kaynakla sağlanır; kamera bilinen bir beyaz ya da gri hedefle düzenli olarak kalibre edilir. Böylece aydınlatıcı tahmini sorunu, çözülmesi gereken bir sorun olmaktan çıkar. Renk sabitliği algoritmaları ise ışığın denetlenemediği yerlerde, örneğin telefon kameralarında, açık havadaki robotlarda ve arşiv görüntülerinde gerekli kalır.

Örnek — yakın çekim portrede gri dünya

Yakın çekim bir portre, gri dünyanın başarısız olduğu sahnelerin günlük bir örneğidir: kareyi büyük ölçüde tek bir renk, ten doldurur. Bunu dört ten örneğiyle ölçelim. Her tenin sRGB değerinden bir yansıtım tayfı ürettik ve karenin yüzde 60'ını bu tenin, yüzde 40'ını orta gri bir arka planın (ColorChecker nötr 5) kapladığı bir portre kurduk. Sahneyi yine akkor lamba ışığında «çektik», gri dünya ile ışığın rengini tahmin ettik ve görüntüyü bu tahmine göre düzelttik. Sonra düzeltilmiş teni, aynı tenin gün ışığındaki görünüşüyle karşılaştırdık.

Gri dünya, tenin sıcak rengini ışığın rengi sanır ve düzeltirken tenden bu sıcaklığı siler; ten solgun ve grimsi görünür. Gri tonları yöntemi de bu sahnede kurtarıcı değildir: aynı portrelerde altıncı dereceden norm, dört tenin üçünde gri dünyadan daha büyük bir düzeltilmiş ten farkı verdi (16,3; 22,5; 18,9; ve en koyu tende 6,5), çünkü parlak piksellere ağırlık verir ve parlak pikseller de tendir. Varsayımı değiştirmek, varsayımın tutmadığı bir sahnede sorunu çözmez. Hata tenden tene farklıdır. Orta tonlu ve doygun tenlerde en büyüktür: 8D5524'te düzeltilmiş ten gün ışığındaki görünüşünden 27,8 birim uzaklaşır. En koyu tende açısal hata küçüktür, çünkü bu ten ışığın ancak küçük bir bölümünü geri verir ve ortalamayı gri arka plan belirler; ama ten yine 8,2 birim kayar. Bir telefon kamerasının yakın çekim portrelerde teni «yanlış» göstermesinin nedenlerinden biri budur; öğrenen yöntemler ve yüz algılamaya dayalı düzeltmeler bu sorunu azaltmak için kullanılır, ama bunların da hangi tenlerle eğitildiği ayrıca sınanmalıdır. Bu hesap bir modeldir: tenler sRGB değerlerinden türetilmiş tayflardır, kamera olarak sRGB kanalları kullanılmıştır ve gerçek kameralar düzeltmeyi başka biçimlerde yapar.

Sık yapılan yanlış

Özet

1. Bir kamera yüzeyin rengini değil, ışıkla çarpılmış hâlini kaydeder; hesaplamalı renk sabitliği önce ışığın rengini tahmin eder, sonra görüntüyü düzeltir. Basit yöntemler sahne hakkında bir varsayım kullanır: gri dünya ortalamanın gri, beyaz yama en parlak noktanın beyaz olduğunu kabul eder; ikisi aynı Minkowski formülünün iki ucudur ve aradaki gri tonları çoğu zaman daha iyidir.
2. Gri dünya, sahnenin geniş bir bölümünü tek bir doygun rengin kapladığı sahnelerde başarısız olur: modelimizde doygun yeşil ya da turuncu sahnenin yüzde 70'ini kapladığında hata 14,6° ve 14,9°'ye çıktı; beyaz yama ise sahnede beyaz yoksa yanılır. Öğrenen yöntemler bu hataları azaltır, ama kameraların ve veri kümelerinin sınırlarını da öğrenir.
3. Endüstride en güvenilir çözüm ışığı sabit tutmaktır. Örnekte yakın çekim bir portrede gri dünya tenin sıcaklığını ışığa atfedip siler; düzeltilmiş ten, gün ışığındaki görünüşünden tenden tene 8,2 ile 27,8 birim arasında uzaklaşır.

Kendini sına

1. (Kolay) Hesaplamalı renk sabitliği hangi iki adımdan oluşur?
2. (Kolay) Açısal hata neyi ölçer?
3. (Orta) Gri dünya varsayımı hangi sahnelerde başarısız olur?
4. (Orta) Beyaz yama varsayımı ne zaman iyi, ne zaman kötü çalışır?
5. (Zor) Finlayson ve Trezzi gri dünya ile beyaz yama arasındaki ilişkiyi nasıl kurar?
6. (Zor) Örnekte gri dünya neden en koyu tende küçük, 8D5524'te büyük hata yapar?

Cevaplar

1. Önce görüntüden sahneyi aydınlatan ışığın rengi tahmin edilir, sonra her piksel bu ışığın etkisini gidermek için düzeltilir; zor olan birinci adımdır. Bkz. "Kamera rengi değil, ışığı görür".
2. Tahmin edilen ve gerçek ışık renginin, üç kanallı kamera uzayında iki vektör olarak aralarındaki açıyı; ışığın parlaklığından bağımsız olarak yalnız renginin ne kadar yanlış tahmin edildiğini ölçer. Bkz. "Ne kadar yanlış? Açısal hata".
3. Sahnenin geniş bir bölümünü tek bir doygun rengin kapladığı sahnelerde, çünkü yöntem sahnenin ortalamasının gri olduğunu varsayar ve ortalamadaki sapmayı ışığa atfedip görüntüden siler. Modelimizde doygun yeşilin ya da turuncunun sahnenin yüzde 70'ini kapladığı durumlarda hata 14,6° ve 14,9°'ye çıktı; çim alanları, tek tür meyve yığınları, tek renkli duvarlar ve yakın çekim portreler bu tür sahnelerdir. Bkz. "Kartın sorusu: gri dünya ne zaman başarısız olur?".
4. Sahnede gerçekten beyaz bir yüzey olduğunda iyi çalışır: modelimizde hata 0,1°'ydi. Beyaz yoksa en parlak nokta renkli bir yüzeyin rengini taşır ve yöntem yanılır; hata 5,9°'ye çıktı. Bkz. "Ne kadar yanlış? Açısal hata".
5. İki yöntemin aynı Minkowski normunun iki örneği olduğunu gösterirler: gri dünya bütün piksellerin sıradan ortalamasını, beyaz yama yalnız en büyük değeri kullanır; aradaki dereceler parlak piksellere giderek daha çok ağırlık verir ve büyük bir veri kümesinde altıncı dereceden norm genel olarak en iyi sonucu verdi. Bkz. "İki eski varsayım".
6. Çünkü en koyu ten ışığın ancak küçük bir bölümünü geri verir ve kare ortalamasını büyük ölçüde gri arka plan belirler, bu yüzden tahmin griden az sapar; 8D5524 ise hem daha çok ışık yansıtır hem de doygun bir renktir ve ortalamayı sıcak yöne çeker. Gri dünya bu sıcaklığı ışığa atfedip siler ve düzeltilmiş ten 27,8 birim uzaklaşır. Bkz. "Örnek".

Kaynaklar

• Buchsbaum, G., «A spatial processor model for object colour perception», Journal of the Franklin Institute 310(1): 1–26, 1980.
• Finlayson, G. D. ve Trezzi, E., «Shades of gray and colour constancy», Proceedings of the IS&T/SID Color Imaging Conference 12: 37–41, 2004.
• Gijsenij, A., Gevers, T. ve van de Weijer, J., «Computational color constancy: survey and experiments», IEEE Transactions on Image Processing 20(9): 2475–2489, 2011.
• Buolamwini, J. ve Gebru, T., «Gender shades: intersectional accuracy disparities in commercial gender classification», Proceedings of Machine Learning Research 81: 77–91, 2018.
• Afifi, M., Barron, J. T., LeGendre, C. ve Tsai, Y.-T., «Cross-camera convolutional color constancy», ICCV 2021: 1961–1970, 2021.
• Bhargava, A. ve Bansal, A., «Fruits and vegetables quality evaluation using computer vision: a review», Journal of King Saud University – Computer and Information Sciences 33(3): 243–257, 2021.

Sonraki adım

FE-01 renk üzerine felsefi bir soruya geçiyor: Galileo ve Locke'un birincil ve ikincil nitelikler ayrımını, fizikalizmi, eğilimsel görüşü ve eliminativizmi anlatıyor ve «Elma kırmızıdır» cümlesinin neyi iddia ettiğini soruyor. Görme sisteminin renk sabitliği BI-13'te, gri dünya varsayımı ve beyaz dengesi FS-01'de, palet modellerinde eğitim verisinin taşıdığı yanlılık ise HS-03'ün konusuydu.