Sensör renk görmez: Bayer filtresi

Kısa cevap

Bir kamera sensörünün her pikseli yalnız ne kadar ışık düştüğünü ölçer, ışığın rengini değil; renk, her pikselin üstüne yerleştirilmiş küçük bir kırmızı, yeşil ya da mavi filtreyle ve ardından eksik renklerin komşu piksellerden tahmin edilmesiyle elde edilir. En yaygın düzende, Bryce Bayer'in 1976 tarihli patentinde tarif edilen düzende, piksellerin yarısı yeşil, dörtte biri kırmızı, dörtte biri mavidir; çünkü yeşil, gözün parlaklık ve ayrıntı algısına en çok katkı veren renktir. Bu tasarım ucuz ve etkilidir, ama her görüntünün üçte ikisi aslında tahmin edilmiş bilgi demektir ve bu tahmin, keskin kenarlarda yalancı renkler, karanlık ve doygun bölgelerde ise renk gürültüsü olarak iz bırakır.

Piksel yalnız ışık sayar

Bir dijital kamera sensörü, milyonlarca küçük ışık algılayıcıdan oluşur. Her biri, pozlama süresi boyunca üzerine düşen fotonları sayar ve bu sayıyı bir sinyale çevirir. Ama bir fotonun hangi dalga boyunda olduğunu, yani hangi renkte olduğunu ayırt edemez. Çıplak bir sensör, bu yüzden siyah-beyaz bir görüntü üretir.

Renk görmek için gözün yaptığına benzer bir şey gerekir. BI-09'da anlatıldığı gibi retinada üç tür koni vardır ve her biri farklı bir dalga boyu aralığına duyarlıdır; renk, bu üç koninin tepkilerinin karşılaştırılmasından doğar. Bir sensörün de her noktada en az üç farklı ölçüm yapması gerekir. Bunun birkaç yolu vardır: ışığı prizmalarla üç ayrı sensöre bölmek, üç ayrı çekim yapmak ya da her pikselin üstüne farklı bir renk filtresi koymak. Bu ders, üçüncü yolu ve onun en bilinen düzenini ele alıyor.

Bayer'in düzeni

Kodak'ta çalışan Bryce E. Bayer, 1975'te başvurduğu ve 20 Temmuz 1976'da verilen ABD patentinde, tek bir sensörle renkli görüntü elde etmenin bir yolunu tarif etti. Patent, o dönemde video kamera üreticilerinin tatmin edici bir renk sinyali için görüntüyü bölüp birden fazla tarayıcı kullanmak zorunda kaldığını hatırlatarak başlar ve bunun yerine, parlaklık ve renk bilgisini algılayan elemanların tek bir dizide, tekrarlanan iç içe desenler hâlinde dağıtılmasını önerir.

Patentin tercih edilen düzeninde yeşile duyarlı elemanlar dizinin her ikinci konumunda yer alır; kırmızıya duyarlı elemanlar bir satırda yeşillerle, maviye duyarlı elemanlar bir sonraki satırda yeşillerle sıralanır. Patent yeşil elemanları "parlaklık" elemanları, kırmızı ve mavileri ise "renklilik" elemanları olarak adlandırır ve gerekçesini de yazar: gözün en duyarlı olduğu parlaklık ayrıntısı en kalabalık eleman grubuyla örneklenir, insan görme sisteminin mavi ayrıntıyı ayırt etme yeteneği ise sınırlıdır. Böylece görüntünün örneklenmesi, patentin deyişiyle, insan görme sisteminin tepkisine yakından uydurulmuş olur.

Neden yeşil?

Kartın sorusu şu: sensörde neden yeşil pikseller kırmızı ve maviden fazladır? Cevabın iki katmanı var.

Birincisi, gözün parlaklık algısıdır. EK-02'de göreli parlaklığın nasıl hesaplandığını görmüştük: sRGB'de bir rengin parlaklığına yeşil kanal yaklaşık yüzde 72, kırmızı yaklaşık yüzde 21, mavi ise yalnız yüzde 7 katkı verir. Bir görüntünün keskinliği, dokusu ve biçimi büyük ölçüde bu parlaklık bilgisinden okunur. Parlaklık bilgisinin çoğunu taşıyan kanalı en sık örneklemek, aynı sayıda pikselle en keskin görünen görüntüyü elde etmenin yoludur.

İkincisi, gözün renk ayrıntısına duyarlılığıdır. Bayer patentinin de dayandığı gözleme göre görme sistemi, mavi ayrıntıyı ayırt etmekte görece sınırlıdır; renk bilgisi, parlaklık bilgisi kadar ince örneklenmeden de görüntü keskin görünebilir. Bu yüzden renk bilgisini daha seyrek örneklemek, gözün fark edeceği bir kayıp yaratmadan piksel tasarrufu sağlar. Bayer patenti tam da bu iki gözleme dayanır.

Bu tasarımın bir de dengesi vardır: iki kat yeşil, ikiye iki biriminde simetrik bir yerleşim sağlar. Yeşil pikseller dama tahtası gibi dizilir ve her kırmızı ya da mavi pikselin dört komşusu yeşildir. Bu, eksik değerlerin tahmininde yeşili bir tür iskelet olarak kullanmayı kolaylaştırır.

Demozaikleme: eksik renkleri tahmin etmek

Bayer düzeniyle çekilmiş ham bir görüntüde her piksel yalnız bir renk ölçümü taşır. Tam renkli bir görüntü için her piksele eksik iki rengin eklenmesi gerekir. Bu işleme demozaikleme denir.

En basit yol, eksik değeri komşuların ortalamasıyla doldurmaktır. Bu çift doğrusal yöntem, düz ve yumuşak bölgelerde iyi çalışır. Ama keskin bir kenarda, örneğin koyu bir saçın açık bir gökyüzüyle buluştuğu yerde, kenarın iki yanındaki değerler karışır ve orada ne sahnede ne de iki yüzeyin rengi olan bir renk ortaya çıkabilir.

Bu sorun, demozaiklemeyi uzun süredir önemli bir araştırma alanı yaptı. Gunturk ve arkadaşlarının 2005'teki derlemesi, yöntemleri üç grupta ele alır: sezgisel yaklaşımlar, demozaiklemeyi bir onarım problemi olarak kuran yöntemler ve tayfsal filtreleme modeline dayanan genellemeler. Lukac ve Plataniotis ise aynı demozaikleme çerçevesiyle on farklı RGB renk filtre dizisini karşılaştırdı ve filtre dizisinin tasarımının, demozaiklenmiş görüntünün hem ölçülen hem görsel kalitesi üzerinde büyük bir etkisi olduğunu gösterdi. Yani sonuç, hem filtre düzenine hem de tahmin yöntemine bağlıdır.

Gürültü: az ışık, az sinyal

Demozaiklemenin ötesinde ikinci bir sınır, ışığın kendisinden gelir. Bir pikselin topladığı foton sayısı, rastgele bir dalgalanma gösterir; bu dalgalanma, fotonların doğası gereği kaçınılmazdır.

Bu, renk filtresiyle birleşince önemli bir sonuç doğurur. Bir filtre, kendi rengi dışındaki ışığın büyük kısmını engeller; mavi filtreli bir piksel, sahnenin mavi içeriği azsa çok az foton toplar. Üstelik mavi, piksellerin yalnız dörtte birinde ölçülür. Bir bölgenin rengini doğru tahmin etmek için üç kanalın da güvenilir olması gerektiğinden, bir kanalın hem seyrek örneklendiği hem de az sinyal taşıdığı bölgelerde renk tahmini gürültülü olur. Karanlık ve doygun renkli bölgeler, bu iki etkinin buluştuğu yerlerdir.

Başka yollar: katmanlı sensörler

Bayer düzeni tek seçenek değildir. Bir alternatif, rengi yan yana değil üst üste ölçmektir. Silisyum, farklı dalga boylarındaki ışığı farklı derinliklerde soğurur; kısa dalgalar yüzeye yakın, uzun dalgalar daha derinde. Bu özellikten yararlanan katmanlı sensörler, her piksel konumunda üç rengi birden ölçmeye çalışır.

Hubel, Liu ve Guttosch 2004'te Bayer filtreli sensörlerle böyle bir katmanlı sensörün, Foveon X3'ün, uzamsal frekans tepkisini karşılaştırdı ve katmanlı sensörün tepkisinin 2,4 kata kadar daha iyi olduğunu, kırmızı-mavi bir kenarda ise 3 ile 5 kat daha yüksek olduğunu bildirdi. Bu sonuç, Bayer düzeninin en zayıf olduğu yeri, kırmızı ve mavinin seyrek örneklendiği renk kenarlarını açıkça gösterir. Katmanlı sensörlerin de kendi güçlükleri vardır: katmanlar renkleri filtreler kadar keskin ayırmadığı için ölçümlerden renkleri çözmek daha fazla hesap gerektirir. Hangi tasarımın hangi iş için daha uygun olduğu, bu yüzden tek bir sayıyla değil, keskinlik, gürültü ve renk doğruluğu birlikte değerlendirilerek belirlenir.

Örnek — yüz kenarında yalancı renk ve gölgede gürültü

İki basit simülasyon, Bayer düzeninin iki sınırını ten tonlarıyla gösterir. İlkinde her ten örneğinin, açık bir zemin (F5F5F2) ve koyu bir zemin (141414) önünde dikey ve çapraz bir kenar oluşturduğunu varsayıyoruz. Görüntüyü Bayer düzeniyle örnekliyor ve en basit, çift doğrusal demozaiklemeyle geri kuruyoruz. Tablo, kenarın çevresinde oluşan en büyük renk hatasını ΔE00 cinsinden gösterir.

Sonuç simetriktir: yalancı rengin büyüklüğünü tenin kendisi değil, ten ile zemin arasındaki kontrast belirler. Açık bir zemin önünde en koyu ten, koyu bir zemin önünde en açık ten en büyük kenar hatasını verir. Bir fotoğrafçı için anlamı, portrenin arka planının tenin açıklığıyla birlikte düşünülmesi gerektiğidir; özellikle ince saç telleri ya da kirpikler gibi ince ayrıntılar, yüksek kontrastlı bir zemin önünde yalancı renk üretmeye en yatkın bölgelerdir. Modern kameraların demozaikleme yöntemleri bu basit yöntemden çok daha iyidir, ama hatanın nereye yığıldığı değişmez: en yüksek kontrastlı kenarlara.

İkinci hesap gürültüyle ilgilidir. Her ten örneğinin doğrusal kanal değerlerini, aynı pozlamadaki yüzde 18'lik bir griye göre oranlayalım ve foton gürültüsünün karekök kuralıyla kanal başına göreli sinyal-gürültü oranını hesaplayalım. Değer 1'den küçükse o kanal, griden daha gürültülüdür.

Açık bir tende üç kanal da griden daha güçlü bir sinyal taşır. Orta-koyu ve koyu tenlerde ise mavi kanalın göreli sinyal-gürültü oranı 0,3'ün altına iner; yani mavi, hem piksellerin yalnız dörtte birinde ölçülür hem de o piksellerde çok az sinyal taşır. Tenin tonunu belirleyen kırmızı-mavi dengesi, bu yüzden koyu tenlerde en güvenilmez kanala dayanır ve düşük ışıkta tenin renginde lekeli bir gürültü görülebilir. Bu, teknolojinin bir tene özel kusuru değil, fiziğin sonucudur; ama bir kameranın düşük ışık performansını yalnız açık tenli yüzlerle ya da nötr gri kartlarla değerlendirmek, koyu tenlerde ortaya çıkacak renk gürültüsünü gizleyebilir. Koyu tenli bir yüze yeterli ışık vermek ve doğru pozlamak, bu yüzden salt bir estetik tercih değil, sensörün renk bilgisini güvenilir biçimde toplayabilmesinin koşuludur.

Sık yapılan yanlış

Özet

1. Sensör pikselleri yalnız ışık miktarını ölçer; renk, her pikselin üstündeki bir filtre dizisiyle ve eksik renklerin demozaiklemeyle tahmin edilmesiyle elde edilir.
2. Bayer'in 1976 patentindeki düzende piksellerin yarısı yeşildir, çünkü yeşil parlaklık ve ayrıntı bilgisinin çoğunu taşır ve patentin dayandığı gözleme göre göz mavi ayrıntıyı ayırt etmekte görece sınırlıdır.
3. Demozaikleme yüksek kontrastlı kenarlarda yalancı renk, seyrek ve zayıf örneklenen kanallar ise karanlık ve doygun bölgelerde renk gürültüsü üretir; ikisi de tene değil kontrasta ve ışığa bağlıdır, ama koyu tenlerde mavi kanal en zayıf halkadır.

Kendini sına

1. (Kolay) Bayer düzeninde piksellerin hangi oranı yeşil, kırmızı ve mavidir?
2. (Kolay) Demozaikleme ne demektir?
3. (Orta) Sensörde neden yeşil pikseller kırmızı ve maviden fazladır?
4. (Orta) Yalancı renk hangi bölgelerde ve neden ortaya çıkar?
5. (Zor) Katmanlı sensörlerin Bayer düzenine göre üstünlüğü nerede en belirgindir ve bu, Bayer düzeninin zayıf noktası hakkında ne söyler?
6. (Zor) Gürültü tablosunda koyu tenlerde mavi kanalın zayıf kalması neden önemlidir ve bir kameranın düşük ışık testi için ne anlama gelir?

Cevaplar

1. Yarısı yeşil, dörtte biri kırmızı, dörtte biri mavi («Bayer'in düzeni»).
2. Renk filtre dizisiyle çekilmiş ham görüntüde her pikselin eksik renk değerlerini komşu piksellerden tahmin ederek tam renkli görüntü oluşturmaktır («Demozaikleme: eksik renkleri tahmin etmek»).
3. Çünkü yeşil, gözün parlaklık algısına en çok katkı veren renktir; sRGB'de parlaklığın yaklaşık yüzde 72'si yeşilden gelir ve görüntünün keskinliği ile biçimi büyük ölçüde parlaklıktan okunur. Göz mavi ayrıntıyı ayırt etmekte görece sınırlı olduğu için kırmızı ve maviyi daha seyrek örneklemek, görüntünün keskin görünmesini engellemez. Bayer'in patenti bu iki gözleme dayanır («Neden yeşil?»).
4. Yüksek kontrastlı keskin kenarlarda ve ince tekrarlanan desenlerde; çünkü eksik değerler komşulardan tahmin edilirken kenarın iki yanındaki değerler karışır ve sahnede olmayan bir renk oluşabilir («Demozaikleme: eksik renkleri tahmin etmek», «Örnek — yüz kenarında yalancı renk ve gölgede gürültü»).
5. Kırmızı-mavi renk kenarlarında; karşılaştırmada katmanlı sensörün tepkisi burada 3–5 kat daha yüksek çıkmıştır. Bu, Bayer düzeninin en zayıf olduğu yerin, kırmızı ve mavinin seyrek örneklendiği renk kenarları olduğunu gösterir («Başka yollar: katmanlı sensörler»).
6. Tenin tonunu belirleyen kırmızı-mavi dengesi, koyu tenlerde hem seyrek örneklenen hem de az sinyal taşıyan mavi kanala dayanır; düşük ışıkta bu, tende lekeli bir renk gürültüsü olarak görülebilir. Bir kameranın düşük ışık performansı yalnız açık tenli yüzlerle ya da gri kartlarla değerlendirilirse bu sorun gözden kaçabilir; testler farklı tenlerle yapılmalıdır («Örnek — yüz kenarında yalancı renk ve gölgede gürültü»).

Kaynaklar

• Bayer, B. E., «Color imaging array», ABD Patenti 3.971.065, Eastman Kodak, 20 Temmuz 1976.
• Gunturk, B. K., Glotzbach, J., Altunbasak, Y., Schafer, R. W. ve Mersereau, R. M., «Demosaicking: color filter array interpolation», IEEE Signal Processing Magazine, 22(1), 2005, s. 44–54.
• Lukac, R. ve Plataniotis, K. N., «Color filter arrays: design and performance analysis», IEEE Transactions on Consumer Electronics, 51(4), 2005, s. 1260–1267.
• Hubel, P. M., Liu, J. ve Guttosch, R. J., «Spatial frequency response of color image sensors: Bayer color filters and Foveon X3», SPIE Proceedings, 5301, 2004, s. 402.

Sonraki adım

Demozaiklemenin, beyaz dengesinin ve renk işlemenin kamera içinde mi yoksa sonradan mı yapılacağı, elinizdeki dosyanın ne kadar renk bilgisi taşıdığını belirler. FS-03 bu farkı açar: RAW dosyasının sensörün ham ölçümlerini nasıl sakladığını, JPEG'in kamera içinde nasıl işlenip sıkıştırıldığını, bit derinliğinin ve renk profilinin rolünü ve JPEG'de beyaz dengesini sonradan düzeltmenin neden daha sınırlı olduğunu anlatır. Beyaz dengesinin kendisi için FS-01'e bak.