Eski fotoğrafları renklendirmek: gerçek mi, tahmin mi?

Kısa cevap

Siyah beyaz bir fotoğraf her noktada yalnız bir parlaklık değeri taşır; renk için gereken öbür iki bilgi fotoğraf çekildiği anda kaybolmuştur. Otomatik renklendirme bu kaybolan bilgiyi geri getiremez, yalnız eğitildiği binlerce renkli fotoğrafa bakarak o gri tonun en olası rengini tahmin eder: gökyüzüne mavi, yaprağa yeşil, belirsiz her şeye çoğu zaman soluk bir kahverengi verir ve bir kişinin tenini, bir üniformanın rengini ya da bir bayrağın tonunu yanlış tahmin edebilir. Renklendirilmiş bir tarihsel fotoğraf, bu yüzden bir kayıt değil bir yorumdur ve «temsili» olarak etiketlenmelidir; etiket okura hangi bilginin fotoğraftan, hangisinin tahminden geldiğini söyler.

Gri tonda ne kaybolur?

BI-19, rengi üç eksenli bir uzayda, açıklık ile iki renk ekseniyle düzenlemişti. Siyah beyaz bir fotoğraf bunlardan yalnız birini, açıklığa yakın bir değeri kaydeder. Renk tonu ve doygunluk kayıtta hiç yoktur.

Yatziv ve Sapiro bu işlemin neden kesin bir cevabı olmadığını açıkça yazar.

Bu belirsizlik, bir tahmin yöntemi ne kadar gelişmiş olursa olsun ortadan kalkmaz. Değişen tek şey, tahminin hangi bilgiye dayandığıdır.

İlk yol: bir insan seçer

İlk bilgisayarlı renklendirme yöntemleri, eksik bilgiyi bir insana seçtirdi. Levin, Lischinski ve Weiss 2004'te, sanatçının görüntünün üzerine birkaç renkli çizgi çektiği ve yöntemin bu renkleri benzer parlaklıktaki komşu piksellere yaydığı bir yöntem önerdi.

Bu yöntemde rengin kaynağı açıktır: renkleri bir insan seçer ve seçimin gerekçesi, varsa, belgelenebilir. Bir üniformanın rengi arşiv kayıtlarından, bir binanın rengi bugünkü hâlinden alınabilir. Tahmin yine vardır, ama tahmini yapan bellidir.

İkinci yol: bir model tahmin eder

Derin öğrenmeyle gelen yöntemler bu insan adımını kaldırdı.

Modelin «genel önsel bilgisi», bir sahnenin ne tür bir sahne olduğuna dair öğrendiği beklentidir: bir kumsalda gökyüzünün, bir ormanda yaprakların hangi renkte olduğu. Aynı yıl Zhang, Isola ve Efros, sorunun temel güçlüğünü açıkça adlandırdı.

Zhang ve arkadaşlarının ölçütü dikkat çekicidir: başarı, gerçek rengi bulmakla değil, insanları yanıltmakla ölçülür. Bir renklendirme ne kadar inandırıcı olursa, o kadar başarılı sayılır. Tarihçi için ise sorun tam da budur.

Kahverengi ortalama

Zhang ve arkadaşlarının andığı soluk renklendirmeler, belirsizliğin kendisinden doğar. Bir model aynı gri ton için birkaç eşit olası rengi gördüğünde ve hatasını ortalamayla ölçtüğünde, en güvenli tahmin bu renklerin ortalamasıdır.

Bunu bir hesapla görelim. Siyah beyaz bir fotoğrafta aynı açıklıkta (L\* 50) bir giysi olsun ve bu giysinin eşit olasılıkla kırmızı, mavi, yeşil ya da sarı olabileceğini düşünelim. Dört rengin CIELAB değerlerinin ortalaması, kroması 23 olan soluk bir kahverengidir; sRGB'de yaklaşık #8C7250. Bu ortalama, dört seçeneğin hiçbirine yakın değildir: sarıdan ΔE00 14,2, kırmızıdan 26,2, yeşilden 29,4, maviden 40,0 birim uzaktır. Model «ortalamada az hata» yaparken, gerçekte hiçbir zaman var olmamış bir renk üretir. Zhang ve arkadaşlarının sınıf yeniden dengelemesi bu soluklaşmayı azaltmak için geliştirildi; ama canlı bir renk seçmek, yanlış bir rengi daha canlı seçmek de olabilir.

Ten ve üniforma

Belirsizliğin en hassas sonuçları insanlarla ilgilidir. Bir kişinin teni, bir üniformanın rengi ya da bir bayrağın tonu, bir fotoğrafın tarihsel anlamını taşıyan ayrıntılardır ve gri ton bunların hiçbirini kesin olarak kaydetmez.

Ten söz konusu olduğunda gri ton iki ayrı bilgiyi birbirine karıştırır: tenin kendi açıklığını ve onu aydınlatan ışığın miktarını. Gölgede kalan açık bir ten ile iyi aydınlatılmış daha koyu bir ten, fotoğrafta aynı griye düşebilir. Bir model, bu griyi eğitim verisinde en sık gördüğü tene bağlar. Eğitim verisi belirli tenleri daha çok içeriyorsa, model belirsiz bir griyi o tenlere doğru çekebilir. Bu, HS-03'te palet modelleri için gördüğümüz eğitim verisi yanlılığının renklendirmedeki karşılığıdır.

Üniformalar ve bayraklar için de benzer bir sorun vardır. Aynı açıklıktaki farklı renkler, örneğin bir üniformanın koyu yeşili ile koyu mavisi, gri tonda ayırt edilemez. Model birini seçer; seçim eğitim verisindeki sıklığa dayanır, o fotoğrafın çekildiği yerin ve dönemin gerçek renklerine değil.

Tarihçilerin eleştirisi

Renklendirilmiş tarihsel fotoğraflar sosyal medyada geniş kitlelere ulaşır ve tarihçiler arasında tartışmaya yol açar.

Protschky'nin çalışması eleştirinin iki katmanını gösterir. Birincisi renktir: fotoğrafa eklenen renk, kaynağın bir parçası değildir. İkincisi bağlamdır: renklendirme bir fotoğrafı daha canlı ve yakın gösterirken, onun kim tarafından, hangi amaçla çekildiği sorusunu gölgeleyebilir. Renk, bir propaganda fotoğrafını daha inandırıcı kılabilir.

Karşı görüş

Bazı araştırmacılar ve uygulayıcılar renklendirmeyi daha olumlu değerlendirir. Protschky'nin çalışması da bu yöne bir kapı aralar: Endonezyalı sosyal medya kullanıcıları için, fotoğrafların ayrıntılı bağlamı ve üst verisi, bu fotoğrafların Hollanda'da ve Endonezya'da tamamlanmamış sömürgecilikten kurtulma süreçleriyle nasıl bağlantılı olduğu tartışmalarından daha az önemliydi. Bu görüşe göre renklendirme, geçmişi bugünkü kitlelere yaklaştıran, fotoğrafları yeniden konuşulur kılan bir araçtır; renk, siyah beyazın yarattığı uzaklık duygusunu azaltır ve insanların geçmişi kendi dünyalarının bir parçası olarak görmesine yardım eder.

Eleştirel görüş bu yararı reddetmez, ama bir koşula bağlar: yakınlık duygusu, okurun renklerin bir tahmin olduğunu bildiği sürece meşrudur. İki görüş, renklendirmenin yapılıp yapılmaması konusunda değil, okura ne söyleneceği konusunda buluşabilir. Temsili etiket bu buluşma noktasıdır: renklendirmenin yakınlaştırıcı etkisini korur, ama kaydın ne olduğunu ve neyin eklendiğini açıkça ayırır.

Örnek — gri tonda aynı, renkte farklı

Dört ten örneğinin bir siyah beyaz fotoğrafta nasıl birbirine karışabileceğini hesaplayalım. Bir tenin gri tondaki değeri, açıklığına, yani ne kadar ışık yansıttığına bağlıdır; ama fotoğraftaki açıklık, tenin kendisiyle birlikte ışığın miktarına da bağlıdır. Bir teni daha az ışık alacak biçimde, yani gölgede düşünelim ve hangi pozlama farkında başka bir tenle aynı griye düştüğüne bakalım.

Gölgede kalan en açık ten, iyi aydınlatılmış 8D5524 ile fotoğrafta aynı griyi verir, oysa iki tenin renkleri ΔE00 12,7 birim farklıdır: biri pembemsi bej, öbürü doygun bir karamel. Gri ton bu iki durumu ayırmaz. Bir model bu griye renk verirken ya fotoğraftaki başka ipuçlarına, örneğin ışığın yönüne ve gölgelerin biçimine, ya da eğitim verisinde bu griye en sık eşlik eden tene dayanır. İkinci durumda model, gerçek tenden bağımsız olarak eğitim verisinin çoğunluğunu yansıtır. Hesap sadeleştirilmiştir; gerçek fotoğraflarda film türü, filtre ve baskı süreci gri tonları ayrıca değiştirir; ama gri tonun teni kesin olarak kaydetmediği sonucu değişmez. Bir tarihsel fotoğraftaki bir kişinin tenini renklendirmek, bu yüzden en çok özen isteyen ve en açık biçimde temsili olarak belirtilmesi gereken seçimdir.

Sık yapılan yanlış

Özet

1. Siyah beyaz bir fotoğraf yalnız açıklığı kaydeder; renk tonu ve doygunluk kaybolmuştur ve farklı renkler aynı griye düşebilir. Renklendirme bu bilgiyi geri getiremez, ya bir insanın seçimine ya da bir modelin tahminine dayanır.
2. Modeller eğitim verisine göre en olası rengi tahmin eder; birkaç eşit olası renk için ortalama almak soluk bir «kahverengi ortalama» üretir. Ten, üniforma ve bayrak gibi ayrıntılarda tahmin, fotoğrafın gerçek bağlamına değil verinin çoğunluğuna dayanabilir.
3. Tarihçiler renklendirmenin kaynağı değiştirdiğini ve bağlamı gölgeleyebildiğini eleştirir, savunucular geçmişi yakınlaştırdığını söyler; temsili etiket iki görüşün buluşma noktasıdır. Örnekte gölgedeki en açık ten, renk farkı ΔE00 12,7 olan 8D5524 ile aynı griye düşer.

Kendini sına

1. (Kolay) Siyah beyaz bir fotoğraf rengin hangi bilgisini kaydeder, hangisini kaybeder?
2. (Kolay) Levin ve arkadaşlarının yönteminde renkleri kim seçer?
3. (Orta) Renklendirilmiş bir tarihsel fotoğraf neden "temsili" olarak etiketlenmelidir?
4. (Orta) «Kahverengi ortalama» nasıl ortaya çıkar?
5. (Zor) Protschky'nin çalışması renklendirmenin eleştirisine hangi iki katmanı ekler?
6. (Zor) Örnekte gri ton neden iki farklı teni ayıramaz ve bunun renklendirme için sonucu nedir?

Cevaplar

1. Yalnız açıklığa yakın bir değeri kaydeder; renk tonu ve doygunluk bilgisi kaybolur. Bkz. "Gri tonda ne kaybolur?".
2. Bir sanatçı görüntünün üzerine birkaç renkli çizgi çeker; yöntem bu renkleri benzer parlaklıktaki komşu piksellere yayar. Bkz. "İlk yol: bir insan seçer".
3. Çünkü gri ton renk tonu ve doygunluk bilgisini kaydetmez ve renklendirme bu bilgiyi geri getiremez; eklenen renkler bir insanın seçimi ya da bir modelin eğitim verisine dayanan tahminidir. Ten, üniforma ve bayrak gibi tarihsel anlamı taşıyan ayrıntılar yanlış olabilir ve renk, fotoğrafın propaganda kökeni gibi bağlamını gölgeleyebilir. Etiket okura hangi bilginin fotoğraftan, hangisinin yorumdan geldiğini söyler. Bkz. "Tarihçilerin eleştirisi" ve "Karşı görüş".
4. Bir model aynı gri ton için birkaç eşit olası renk gördüğünde ve hatasını ortalamayla ölçtüğünde, en güvenli tahmin bu renklerin ortalamasıdır; örnekte kırmızı, mavi, yeşil ve sarının ortalaması, hiçbirine benzemeyen soluk bir kahverengidir. Bkz. "Kahverengi ortalama".
5. Birincisi renk katmanıdır: eklenen renk kaynağın bir parçası değildir. İkincisi bağlam katmanıdır: renklendirme, fotoğrafın kim tarafından ve hangi amaçla çekildiği sorusunu gölgeleyebilir; Endonezyalı renklendiriciler Hollandalıların çektiği fotoğrafların propaganda kökenini sorgulamamıştı. Bkz. "Tarihçilerin eleştirisi".
6. Çünkü fotoğraftaki açıklık, tenin kendisiyle birlikte ışığın miktarına da bağlıdır; gölgedeki açık bir ten iyi aydınlatılmış daha koyu bir tenle aynı griye düşebilir. Model bu griye ya başka ipuçlarına ya da eğitim verisinde en sık gördüğü tene dayanarak renk verir; ikinci durumda gerçek tenden bağımsız olarak verinin çoğunluğunu yansıtır. Bkz. "Örnek".

Kaynaklar

• Levin, A., Lischinski, D. ve Weiss, Y., «Colorization using optimization», ACM Transactions on Graphics 23(3): 689–694, 2004.
• Yatziv, L. ve Sapiro, G., «Fast image and video colorization using chrominance blending», IEEE Transactions on Image Processing 15(5): 1120–1129, 2006.
• Iizuka, S., Simo-Serra, E. ve Ishikawa, H., «Let there be color!», ACM Transactions on Graphics 35(4), 2016.
• Zhang, R., Isola, P. ve Efros, A. A., «Colorful image colorization», Computer Vision – ECCV 2016, Lecture Notes in Computer Science 9907: 649–666, 2016.
• Protschky, S., «The revolution will (not?) be colourised: photographs from the Indonesian National Revolution (1945–49) on social media», History of Photography 47(4): 344–354, 2023.

Sonraki adım

HS-05 renk üreten modellere geçiyor: metin talimatında renk tarif etmenin sınırlarını, referans görselle yönlendirmeyi, sonradan renk düzeltmeyi ve seri üretimde tutarlılığı anlatıyor ve bir üretken modelde marka rengini tutturmak için neden son işlem gerekebileceğini soruyor. Rengin açıklık ve iki renk ekseniyle düzenlenmesi BI-19'da, eğitim verisi yanlılığı HS-03'te ele alınmıştı.