Algoritmalar güzel palet üretebilir mi?

Kısa cevap

Algoritmalar palet üretebilir ve bazı çalışmalar, belirli bir grubun beğeni puanlarını makul bir doğrulukla tahmin edebildiklerini gösterir; ama «güzel» bir paleti ölçmenin tek ve evrensel bir yolu yoktur. Kural tabanlı yöntemler renk çemberindeki klasik uyum şablonlarını kodlar, veri tabanlı yöntemler bir fotoğraftaki renkleri kümeleyerek palet çıkarır, öğrenen modeller ise insanların verdiği puanlardan bir beğeni tahmincisi eğitir. Öğrenen bir model, eğitildiği verinin beğenisini, yani o puanları kimin, hangi arayüzde, hangi amaçla verdiğini ve kimin veride hiç bulunmadığını da birlikte öğrenir; bu yüzden bir palet modelini eğitmek, «güzel»in kimin güzeli olduğuna karar vermek demektir.

Renk teması: ölçülen nesne

Tasarım araçlarında bir palet çoğu zaman beş renklik küçük bir kümedir. Algoritmaların ürettiği, puanladığı ve iyileştirdiği şey de genellikle bu kümedir.

O'Donovan, Agarwala ve Hertzmann 2011'de bu birimi büyük ölçekte inceledi. İki çevrimiçi topluluğun, Adobe Kuler ve COLOURLovers'ın verilerini ve kendi topladıkları kontrollü puanları kullandılar.

Birinci yol: kuralları kodlamak

Renk uyumu üzerine en eski düşünce, uyumun renk çemberindeki geometrik ilişkilerle tanımlanabileceğidir. DT-09 analog ve tek renkli uyumu, ilgili dersler tamamlayıcı ve üçlü şemaları anlatmıştı. Bu ilişkiler bir algoritmaya kolayca çevrilir.

Fikri bir fotoğrafa taşıyan çalışmalardan biri, Cohen-Or ve arkadaşlarının 2006 tarihli makalesidir. Yazarlar görüntünün renklerine en uyan şablonu bulup tonları, komşu piksellerin tutarlılığını gözeterek o şablona doğru yumuşakça kaydırdılar.

Kural tabanlı yöntemin gücü açıklanabilirliğidir: bir paletin neden «uyumlu» sayıldığı tek bir cümleyle söylenebilir. Zayıflığı ise kuralın kendisinin sınanmamış olabilmesidir; O'Donovan ve arkadaşlarının bulgusu tam bu noktaya dokunur.

İkinci yol: fotoğraftan çıkarmak

İkinci yol, paleti sıfırdan kurmak yerine bir görüntüden almaktır. GT-08, görüntüden palet çıkarma araçlarını tanımlamış ve çıkarılan renklerin görüntüdeki alanların büyüklüğüne ve algoritmanın ayarlarına bağlı olduğunu yazmıştı. Bu araçların çoğunun arkasında bir kümeleme algoritması vardır.

Alan önemlidir, çünkü kümeleme her pikseli eşit sayar. Görüntünün büyük bölümünü kaplayan bir arka plan birkaç grubu kendine çeker; küçük ama önemli bir bölge, örneğin bir yüz, kendine ait bir grup bulamayabilir. İnsanlar ise böyle çalışmaz.

Çıkarılan palet yalnız bir başlangıç noktasıdır. Asıl iş, onu bir insanın düzenleyebileceği bir araca dönüştürmektir.

Bu yaklaşımda algoritma paleti önerir, karar ise kullanıcıda kalır. Paletin «güzel» olup olmadığını makine değil, onu düzenleyen kişi belirler.

Üçüncü yol: puanlardan öğrenmek

Üçüncü yol, «güzel»i tanımlamaya çalışmak yerine, insanların neyi beğendiğini veriden öğrenmektir.

O'Donovan ve arkadaşları, birçok renk uzayında hesaplanan çok sayıda özelliği kullanan ve bunların hangisinin önemli olduğunu kendisi seçen bir doğrusal model eğitti. Kontrollü Mechanical Turk verisinde model, basit bir karşılaştırma tahmincisine göre ortalama mutlak hatayı yüzde 32 azalttı. Bu, bir grubun ortalama beğenisinin kısmen öğrenilebildiğini gösterir.

Kartın sorusu: hangi veri, hangi yanlılık?

Bir palet modeli ancak eğitildiği verinin beğenisini öğrenebilir. O'Donovan ve arkadaşları kendi verilerinin sınırlarını açıkça sıralar.

Bu tek paragraf kartın sorusuna dört cevap verir. Birincisi, puanı verenlerin kim olduğu: istekli tasarımcılar ya da belirli ülkelerden çevrimiçi çalışanlar, bütün insanları temsil etmez. İkincisi, arayüz: kullanıcılara hazır şablonlar sunan bir sitede şablona uyan temalar zaten daha çok üretilir. Üçüncüsü, görünürlük: öne çıkarılan temalar daha çok puan toplar ve «iyi» sayılır. Dördüncüsü, bağlamsızlık: temalar bir amaç olmadan, bir ürün, bir ekran ya da bir ten üzerinde değil, soyut kareler olarak puanlanır. PS-03'te gördüğümüz gibi renk tercihleri kişiden kişiye ve kültürden kültüre değişir; bir model bunların ortalamasını öğrendiğinde, azınlıkta kalan beğeniler ortalamanın içinde kaybolur.

Karşı görüş

Bazı araştırmacılar bu tabloyu daha iyimser okur. O'Donovan ve arkadaşlarının kendi bulgusu da buna dayanak verir: demografik gruplar farklı puanlasa bile, gruplara özel modeller bütün veriyle eğitilmiş modele göre tahmini pek iyileştirmedi; yani grupları ayıran farklar, bir ortak beğeni çekirdeğinin yanında küçük kalıyor olabilir. Lin ve Hanrahan'ın bulgusu da benzer yöndedir: sıradan katılımcıların çıkardığı temalar sanatçılarınkine benziyordu. Bu görüşe göre bir palet modelinin amacı herkesin beğenisini tek tek öğrenmek değil, birçok insanın kabul edeceği makul bir başlangıç önermektir; son kararı her zaman bir insan verir.

Öbür taraf, bu iyimserliğin bir varsayıma dayandığını hatırlatır: ortak çekirdek, yalnız verideki insanlar için ölçülmüştür. Verinin dışında kalan bir kültürün ya da bir kullanım bağlamının beğenisi hakkında model bir şey söyleyemez. İki görüş, «güzel»in ölçülebilir bir ortalaması olup olmadığı konusunda değil, o ortalamanın kimleri kapsadığı konusunda ayrışır. Hangi paletin güzel olduğu da bu dersin vereceği bir hüküm değildir; ölçülebilir olan, bir modelin hangi veriyle, hangi koşulda ne kadar iyi tahmin ettiğidir.

Örnek — portreden palet çıkarmak

Veri tabanlı yolun gizli bir yanlılığını dört ten örneğinde gösterelim. Yapay bir portre kurduk: iki tonlu gri bir arka plan görüntünün yüzde 70'ini, lacivert bir giysi yüzde 18'ini, koyu kahverengi saç (2A1F1A) yüzde 8'ini, yüz ise yalnız yüzde 4'ünü kaplıyor. Yüzü sırayla dört ten rengiyle boyadık ve her görüntüden k-ortalama kümelemesiyle dört renklik bir palet çıkardık.

Beş bölgeli bir görüntüde dört renklik bir palet, iki bölgeyi birleştirmek zorundadır. Algoritma en benzer iki bölgeyi birleştirir. İlk üç ten saçtan ve arka plandan çok farklı olduğu için kendi grubunu korur. En koyu ten ise saça en yakın olanıdır; algoritma onu saçla aynı gruba koyar ve palette tene ait ayrı bir renk kalmaz: en yakın renk ΔE00 6,6 uzaktadır ve o grubun yalnız üçte biri ten pikselidir. Palet beş renge çıkarıldığında en koyu ten de yakalanır. Lin ve Hanrahan'ın gözlemi burada önem kazanır: insanlar bir portrede yüze odaklanır, alan tabanlı bir kümeleme ise yüzü yalnız yüzde 4'lük bir bölge olarak görür. Bir palet aracının hangi tenlerde yüzün rengini kaybettiği, ancak farklı tenlerle sınanarak görülür. Bu bir modeldir; gerçek fotoğraflarda gölge, ışık ve arka plan sonucu değiştirir.

Sık yapılan yanlış

Özet

1. Palet üretmenin üç yolu vardır: renk çemberindeki uyum şablonlarını kodlayan kural tabanlı yöntemler, fotoğraftaki renkleri kümeleyen veri tabanlı yöntemler ve insanların puanlarından beğeni tahmin etmeyi öğrenen modeller.
2. Büyük veriyle yapılan sınamalarda ton şablonlarının uyumlu renkleri öngördüğüne dair kanıt bulunmadı; öğrenen bir model ise bir grubun ortalama beğenisini kısmen tahmin edebildi. Ama model, verisinin yanlılıklarını da öğrenir: puanlayanların kimliği, arayüzün yönlendirmesi, popülerliğin kendini büyütmesi ve bağlamsızlık.
3. Veri tabanlı palet çıkarma da yanlılık taşır: örnekte dört renkli bir palet, saça en yakın olan en koyu teni saçla birleştirdi ve yüzün rengini kaybetti. Bir palet aracının adil olup olmadığı, farklı tenlerle sınanarak görülür.

Kendini sına

1. (Kolay) Ton şablonu nedir?
2. (Kolay) Kümeleme ile palet çıkarmanın sonucu hangi iki şeye bağlıdır?
3. (Orta) Bir palet üretme modelini neyle eğitirsiniz ve bu veri hangi yanlılığı taşır?
4. (Orta) O'Donovan ve arkadaşları ton şablonları hakkında ne buldu?
5. (Zor) Karşı görüşe göre öğrenen bir palet modelinin amacı nedir ve bu görüşe hangi itiraz yöneltilir?
6. (Zor) Örnekte dört renklik palet neden yalnız en koyu teni kaybeder?

Cevaplar

1. Renk çemberi üzerinde belirli açılarla konumlanmış bir ya da birkaç sektörden oluşan kalıptır; bir paletin tonları bu sektörlere düşüyorsa palet uyumlu sayılır. Bkz. "Birinci yol: kuralları kodlamak".
2. Seçilen grup sayısına ve her rengin görüntüde kapladığı alana. Bkz. "İkinci yol: fotoğraftan çıkarmak".
3. Genellikle insanların renk temalarına verdiği puanlarla, örneğin çevrimiçi palet topluluklarının verisiyle ya da kontrollü bir çevrimiçi puanlama çalışmasıyla. Bu veri, puanı verenlerin kim olduğunu, arayüzün hangi şablonları kolaylaştırdığını, öne çıkarılan temaların daha çok puan toplamasını ve temaların bağlamsız, soyut kareler olarak puanlanmasını taşır; O'Donovan ve arkadaşlarının verisinde kullanıcıların demografisi bilinmiyordu ve kontrollü çalışmanın katılımcıları ağırlıkla iki ülkedendi. Model bu yanlılıkları öğrenir. Bkz. "Kartın sorusu: hangi veri, hangi yanlılık?".
4. Ton şablonlarını birkaç yoldan sınadılar ve uyumlu renkleri öngördüklerine dair kanıt bulmadılar; kullanıcıların şablonları, özellikle arayüzde hazır olanları kullandığını gördüler. Bkz. "Büyük veriyle renk uyumu" kutusu.
5. Amacın herkesin beğenisini öğrenmek değil, birçok insanın kabul edeceği makul bir başlangıç önermek olduğunu söyler; gruplara özel modellerin tahmini pek iyileştirmemesini ve sıradan katılımcıların temalarının sanatçılarınkine benzemesini dayanak gösterir. İtiraz, bu ortak çekirdeğin yalnız verideki insanlar için ölçüldüğü ve verinin dışında kalan kültürler ve bağlamlar hakkında bir şey söylemediğidir. Bkz. "Karşı görüş".
6. Çünkü beş bölgeli bir görüntüde dört renklik palet iki bölgeyi birleştirmek zorundadır ve algoritma en benzer iki bölgeyi birleştirir; en koyu ten saça en yakın olanıdır (renk farkı 10,4), bu yüzden saçla aynı gruba düşer. Açık tenler saçtan çok farklı olduğu için kendi gruplarını korur. Bkz. "Örnek".

Kaynaklar

• Cohen-Or, D., Sorkine, O., Gal, R., Leyvand, T. ve Xu, Y.-Q., «Color harmonization», ACM Transactions on Graphics 25(3): 624–630, 2006.
• O'Donovan, P., Agarwala, A. ve Hertzmann, A., «Color compatibility from large datasets», ACM Transactions on Graphics 30(4), SIGGRAPH 2011.
• Lin, S. X. ve Hanrahan, P., «Modeling how people extract color themes from images», Proceedings of CHI 2013: 3101–3110, 2013.
• Chang, H., Fried, O., Liu, Y., DiVerdi, S. ve Finkelstein, A., «Palette-based photo recoloring», ACM Transactions on Graphics 34(4), 2015.

Sonraki adım

HS-04 başka bir öğrenen sisteme, eski fotoğrafları renklendiren modellere geçiyor: olası renk tahminini, «kahverengi ortalama» sorununu, ten ve üniforma hatalarını ve tarihçilerin eleştirilerini anlatıyor ve renklendirilmiş bir tarihsel fotoğrafın neden «temsili» olarak etiketlenmesi gerektiğini soruyor. Renk tercihinin kişiden kişiye değişmesi PS-03'te, görüntüden palet çıkarma araçları GT-08'de ele alınmıştı.