Yapay zekâ ve sanat araştırması

Öğrenme hedefi

Bilgisayar yöntemlerinin eski resimleri incelerken nerede işe yaradığını, nerede tökezlediğini iki gerçek vaka üzerinden açıklayabileceksin. Bir sinir ağının eski bir kopyadan ve bir ustanın resminden öğrenerek kayıp bir bölümü nasıl yeniden kurduğunu anlatabilecek; bir algoritmanın bir tablonun yazarı konusunda verdiği olasılık puanının neden tek başına bir karar olmadığını tartışabilecek; bir yapay zekâ destekli sanat araştırmasını, yöntemini ve sınırlarını gözeterek özetleyebilecek ve yapay zekâ sistemlerinin eğitildiği verilerdeki eksikliklerin, farklı tenlerden insanların yüzlerini tanımada nasıl eşitsiz sonuçlar doğurduğunu ve bunun sanat araştırması için ne anlama geldiğini değerlendirebileceksin.

Kanca

Bir algoritma bir ustayı tanıyabilir mi?

2021'de Amsterdam'da, dünyanın en ünlü resimlerinden birinin kenarlarına, üç yüz yıl önce kesilip atılmış şeritler yeniden eklendi. Bu şeritleri hiçbir ressam boyamadı; onları, ustanın renklerini ve fırçasını öğrenen bir bilgisayar programı kurdu. İki yıl sonra, İngiltere'de başka bir program, kökeni tartışmalı bir resimdeki Meryem'in yüzünün, ünlü bir Rönesans ustasının bir başyapıtındaki yüzle yüzde doksan yedi oranında benzediğini açıkladı. Kısa süre sonra üçüncü bir program aynı resim için tam tersi bir sonuca vardı. Algoritmalar bir ustanın elini tanıyabilir mi, yoksa yalnızca onlara öğretileni mi tekrar eder?

Bağlam

Gerrit Lundens'in on yedinci yüzyıl ortasında yaptığı küçük bir kopya bugün Londra'daki National Gallery'nin koleksiyonundadır: Rembrandt'ın 1642 tarihli ünlü grup portresinin, kaynaklara göre yaklaşık 66,5 × 85,5 santimetrelik bir kopyası. Kaynaklara göre kopya, özgün resmin yaklaşık on altı metrekaresine karşın yalnızca yarım metrekare kadardır; ama önemli bir tarihsel belgedir, çünkü özgün resim, büyük olasılıkla 1715'te dört yanından kesilmeden önceki bütün düzeni gösterir. Kopyada, özgün resimde bugün bulunmayan iki figür solda görülür; üstte büyük kemerin tamamı, sol altta bir korkuluk ve bir basamak vardır. Ortada kırmızı kuşaklı, siyah giysili yüzbaşı ile sarı giysili teğmen yürür; aralarında altın rengi giysili küçük bir kız figürü parlar; sağda bir davulcu davulunu çalar.

Rembrandt'ın resminin sipariş öyküsü, kesilmesi, başına gelen saldırılar ve 2019'da başlayan kamusal koruma çalışması, o resmi ele alan derste işlendi. Burada, o çalışmanın bir parçası olan yapay zekâ uygulamasına ve yapay zekânın eserlerin kime ait olduğunu belirlemede kullanılmasına bakıyoruz.

Ana anlatım

Bir sinir ağı kayıp bir bölümü nasıl yeniden kurar?

Sinir ağı (neural network), birbirine bağlı çok sayıda basit hesaplama biriminden oluşan ve çok sayıda örnek üzerinde eğitilerek, örneğin bir görüntünün bir üsluptan başka bir üsluba nasıl çevrileceği gibi, belirli bir görevi yerine getirmeyi öğrenen bilgisayar yöntemidir. Kaynaklara göre Rijksmuseum'un kıdemli bilim insanı Robert Erdmann, Rembrandt'ın resminin kesilen bölümlerini yeniden kurmak için üç ayrı sinir ağı kullandı.

Sorun şuydu: Lundens'in kopyası kesilen bölümleri gösteriyordu, ama başka bir ressamın elinden, çok daha küçük bir ölçekte ve bazı oranları farklı olarak. Kaynaklara göre araştırmacılar önce kopyanın özgün resimle örtüşen bölümlerini karşılaştırarak kopyadaki kaymaları ve oran farklarını düzeltti. Sonra bir sinir ağı, örtüşen bölümlerde kopyanın görüntüsü ile Rembrandt'ın resmi arasındaki farkı öğrendi. Müzenin yöneticisi Taco Dibbits'in anlatımına göre, resmin son derece ayrıntılı bir fotoğrafı üzerinden bilgisayara Rembrandt'ın bu resimde hangi renkleri kullandığı ve fırça darbelerinin nasıl göründüğü öğretildi. Ardından sinir ağı, bu öğrendiğini kopyanın kesilen bölümlerine uygulayarak, o bölümlerin Rembrandt'ın elinden çıksaydı nasıl görünebileceğine dair bir öneri üretti.

Kaynaklara göre elde edilen şeritler basılarak 2021'de bir süre resmin çevresine yerleştirildi ve özgün tuvale dokunmadan, çıkarılabilir biçimde sergilendi. Burada önemli bir ayrım vardır: bu şeritler Rembrandt'ın kayıp resmi değildir. Onlar, bir kopyadaki bilginin, bir sinir ağının öğrendiği Rembrandt üslubuyla yeniden çizilmiş hâlidir; kopyanın hataları ya da sinir ağının tahminleri, sonuçta da yer alabilir. Yeniden kurma, kaybı anlamaya yardım eden bir araçtır; kaybın yerini tutmaz.

Bir algoritma bir eserin kime ait olduğunu söyleyebilir mi?

Üslup tanıma (style recognition), bir sanatçının eserlerindeki fırça darbesi, renk, biçim ya da kompozisyon özelliklerinin sayısal olarak çözümlenmesi ve bilinmeyen bir eserin bu özelliklere ne kadar benzediğinin ölçülmesidir. Olasılık puanı (probability score), bir algoritmanın, bir tablonun şu ya da bu ressamın elinden çıkıp çıkmadığına dair yüzde gibi bir sayıyla bildirdiği tahmindir; bu sayı bir kesinlik değil, algoritmanın eğitildiği örneklere ve yöntemine bağlı bir tahmindir.

Kaynaklara göre 2023'te Bradford ve Nottingham üniversitelerinden araştırmacılar, de Brécy Tondo adıyla bilinen, kökeni tartışmalı yuvarlak bir Meryem ve Çocuk İsa resmini, bir yüz tanıma yöntemiyle Raffaello'nun Sistina Madonnası'yla karşılaştırdı. Kaynaklara göre Meryem'in yüzleri arasında yüzde doksan yedi, çocukların yüzleri arasında yüzde seksen altı benzerlik buldular ve resmin büyük olasılıkla Raffaello'nun eseri olduğunu ileri sürdüler.

Birçok sanat tarihçisi bu sonuca itiraz etti. Kaynaklara göre bazı uzmanlar resmin on dokuzuncu yüzyılda yapılmış bir kopya olduğunu düşündüğünü açıkladı. Eleştirilerin bir kısmı yönteme yöneldi: yüz tanıma sistemleri eserleri doğrulamak için değil, fotoğraflardaki gerçek insanları tanımak için geliştirilmiştir; üstelik Rönesans ressamları, özellikle Meryem'i boyarken, ortak bir güzellik idealine göre çalışırdı, bu yüzden yüzlerin benzemesi dönemin bir özelliğidir, bir ressamın kanıtı değil. Kaynaklara göre farklı bir yapay zekâ sistemiyle yapılan bağımsız bir çözümleme ise, aynı resim için yüzde seksen beş olasılıkla Raffaello'nun elinden çıkmadığı sonucuna vardı. İki algoritma, aynı resimde karşıt sonuçlara ulaştı.

Bu vaka, bir olasılık puanının neden tek başına bir karar olmadığını gösterir. Puan, algoritmanın neye bakmak üzere eğitildiğine, hangi eserlerle karşılaştırıldığına ve hangi soruyu yanıtladığına bağlıdır. Bir eserin kime ait olduğu, bugün de uzman gözünün, belgelerin ve teknik incelemenin birlikte değerlendirilmesiyle karara bağlanır; yapay zekâ bu değerlendirmeye yeni bir ölçüm katabilir, ama onun yerini tutmaz.

Algoritmaların öğrendiği veriler neden önemlidir?

Eğitim verisi (training data), bir yapay zekâ sisteminin bir görevi öğrenmek için üzerinde eğitildiği örnekler bütünüdür; sistemin ne öğrendiği, büyük ölçüde bu verinin neyi içerip neyi içermediğine bağlıdır. Algoritmik yanlılık (algorithmic bias), bir algoritmanın, eğitim verisindeki eksiklikler ya da dengesizlikler yüzünden, bazı gruplar için diğerlerine göre sistematik olarak daha kötü sonuçlar vermesidir.

Kaynaklara göre bilgisayar bilimcileri Joy Buolamwini ve Timnit Gebru, 2018'de yayımladıkları Gender Shades adlı çalışmada üç ticari yüz çözümleme sistemini sınadı. Bu sistemler, fotoğraflardaki kişilerin cinsiyetini tahmin ediyordu. Araştırmacılar, dermatologların kullandığı Fitzpatrick ten tipi ölçeğine göre dengelenmiş, bin iki yüzü aşkın fotoğraftan oluşan bir veri kümesi hazırladı. Kaynaklara göre sistemlerin hata oranı, açık tenli erkeklerde en fazla yüzde 0,8 iken, koyu tenli kadınlarda yüzde 34,7'ye kadar çıktı; üç sistemde de hatalar koyu tenlilerde ve kadınlarda daha fazlaydı.

Bu bulgu sanat araştırması için de önemlidir. Yüz tanıma yöntemleri bir resmin kime ait olduğunu belirlemek için kullanıldığında, hangi yüzlerle eğitildikleri sonucu etkiler. Ağırlıklı olarak açık tenli yüzlerin fotoğraflarıyla eğitilmiş bir sistem, açık tenli bir figürün ince ayrıntılarını ayırt edebilir; ama orta tonlu ya da koyu tenli figürlerin bulunduğu resimlerde, örneğin Afrikalı ya da Asyalı modellerin portrelerinde, daha az güvenilir sonuçlar verebilir. Ayrıca müzelerin dijital koleksiyonlarında belirli dönemlerin ve bölgelerin sanatı diğerlerinden çok daha fazla yer aldığı için, bir üslup tanıma sistemi bazı gelenekleri çok iyi, bazılarını çok kötü tanıyabilir.

Bir ressam için buradan çıkan ders, kendi gözünü de benzer bir biçimde eğitmektir. Yalnızca belirli bir gruptan yüzler çizen birinin gözü, öbür yüzlerin ince farklarını daha zor görür. Farklı tenlerden, farklı yaşlardan ve farklı kökenlerden yüzleri bilinçli olarak çizmek, gözün eğitim verisini genişletmek gibidir.

Uygulama

Sonra aynı denemeyi, özelliklerden birini değiştirerek tekrarla ve sonucun nasıl değiştiğini bir cümleyle yaz; bu deneme, bir algoritmanın sonucunun neye bakmak üzere eğitildiğine ne kadar bağlı olduğunu kendi elinle görmeni sağlar.

Sık yapılan hatalar

Kapanış

Bir algoritma bir ustayı tanıyabilir mi? Kısmen ve koşullu olarak. Rijksmuseum'da sinir ağları, Lundens'in kopyasındaki bilgiyi Rembrandt'ın renkleri ve fırça darbeleriyle yeniden çizerek, 1715'te kesilen şeritler için bir öneri üretti; bu şeritler kayıp resmin kendisi değil, onu anlamaya yardım eden bir araçtır. De Brécy Tondo vakasında ise bir yüz tanıma yöntemi yüzde doksan yedi benzerlik bulurken, başka bir sistem aynı resim için karşıt bir sonuca vardı; olasılık puanı tek başına bir karar değildir. Yapay zekâ sistemlerinin ne öğrendiği, eğitim verisine bağlıdır; Gender Shades çalışmasının gösterdiği gibi, veri eksiklikleri koyu tenli yüzlerde çok daha yüksek hatalara yol açabilir. Yapay zekâ, uzman gözü, belgeler ve teknik incelemeyle birlikte kullanıldığında yeni bir ölçüm katar; onların yerini tutmaz. Ödevde bir yapay zekâ destekli sanat araştırmasını özetleyeceksin.

Kavram sözlüğü

Ödev

Bir yapay zekâ destekli sanat araştırmasını özetle.

1. Bir müze, bir üniversite ya da hakemli bir dergi tarafından duyurulmuş, yapay zekânın bir sanat eserini incelemek, yeniden kurmak ya da kime ait olduğunu belirlemek için kullanıldığı bir araştırma seç; araştırmanın tarihini, yapanlarını ve kaynağını not et.
2. Araştırmada kullanılan yapay zekâ yönteminin neyi öğrenmek üzere eğitildiğini ve hangi verilerle eğitildiğini, bulabildiğin kadarıyla açıkla.
3. Araştırmanın sonucunu ve bu sonuca yöneltilen itirazları ya da sınırları iki ayrı paragrafta özetle.
4. Araştırmanın, uzman gözünün, belgelerin ve teknik incelemenin yerini mi tuttuğunu, yoksa onlara yeni bir ölçüm mü kattığını iki cümleyle değerlendir.

Kendini değerlendir

• Kaynak: Seçtiğin araştırmayı doğrulanabilir bir kaynaktan, tarihini ve yapanlarını belirterek aktardın mı?
• Yöntem: Yapay zekânın neyi, hangi verilerle öğrendiğini anlaşılır biçimde açıklayabildin mi?
• Denge: Sonucu ve ona yöneltilen itirazları aynı özenle, tarafsız bir dille özetledin mi?
• Eleştirel düşünme: Yapay zekânın rolünü abartmadan ve küçümsemeden değerlendirebildin mi?

Kendini sına

1. Rijksmuseum'da sinir ağları kesilen bölümler için ne yaptı?

• A) Kayıp resmin kendisini buldu.
• B) Özgün tuvale yeni boya ekledi.
• C) Lundens'in kopyasındaki bilgiyi Rembrandt'ın renkleri ve fırçasıyla yeniden çizerek bir öneri üretti.
• D) Resmi yeniden kesti.

2. Olasılık puanı neden tek başına bir karar değildir?

• A) Puan, algoritmanın eğitim verisine ve yöntemine bağlı bir tahmindir; farklı algoritmalar karşıt sonuç verebilir.
• B) Puanlar her zaman yanlıştır.
• C) Puanlar yalnızca müzeler tarafından verilir.
• D) Puanlar yalnızca eski resimlerde geçerlidir.

3. De Brécy Tondo vakasında yüz tanıma yöntemine yöneltilen bir itiraz nedir?

• A) Resmin çok büyük olması.
• B) Yöntemin çok pahalı olması.
• C) Resmin bir müzede bulunmaması.
• D) Yüz tanıma sistemlerinin eserleri doğrulamak için geliştirilmemiş olması ve dönemin ortak güzellik idealinin yüzleri benzer kılması.

4. Gender Shades çalışması neyi gösterdi?

• A) Yüz çözümleme sistemlerinin koyu tenli kadınlarda çok daha yüksek hata oranları verdiğini.
• B) Yüz çözümleme sistemlerinin hiç hata yapmadığını.
• C) Açık tenli yüzlerin daha zor tanındığını.
• D) Fotoğrafların resimlerden daha kolay tanındığını.

5. Bir ressam için algoritmik yanlılıktan çıkarılacak ders nedir?

• A) Yalnızca tek bir gruptan yüzler çizmek.
• B) Yüz çizmeyi bırakmak.
• C) Farklı tenlerden, yaşlardan ve kökenlerden yüzleri bilinçli olarak çizerek gözün «eğitim verisini» genişletmek.
• D) Yalnızca fotoğraftan çizmek.

Cevaplar

1. C — Şeritler kayıp resmin kendisi değil, onu anlamaya yardım eden bir yeniden kurmadır.
2. A — De Brécy Tondo'da iki farklı yapay zekâ sistemi aynı resim için karşıt sonuçlara vardı.
3. D — Yüzlerin benzemesi bir dönemin özelliği olabilir, tek bir ressamın kanıtı değil.
4. A — Hata oranı açık tenli erkeklerde en fazla yüzde 0,8, koyu tenli kadınlarda yüzde 34,7'ye kadar çıktı.
5. C — Yalnızca belirli yüzleri çizen bir göz, öbür yüzlerin ince farklarını daha zor görür.

Referans görseller

• Özgün animasyon: Lundens'in kopyası ile özgün resmin üst üste bindirilmesi; oran farklarının düzeltilmesi ve kesilen şeritlerin bir sinir ağıyla yeniden çizilmesi; şeritlerin çıkarılabilir baskılar olarak gösterilmesi.
• Özgün şema: bir olasılık puanının, farklı eğitim verileri ve farklı yöntemlerle nasıl değiştiğini gösteren iki algoritmanın karşıt sonuçları.
• Özgün animasyon: dengesiz ve dengeli iki yüz veri kümesi; açık, orta ve koyu tenli yüzlerde farklılaşan hata oranları; ardından bir ressamın defterine farklı tenlerden yüzlerin eklenmesi.

Sonraki derse köprü

Yapay zekâ, bir ressamın renklerini ve fırçasını sayılara çevirerek öğrenmeye çalışır; ama bir resmin ilk katmanı, o renklerin nereden geldiği ve hangi yüzeye sürüldüğüdür. Resmin bilimini ele alan bu bölümün ardından, bu kez kendi topraklarımızın geleneğine ve ellerle hazırlanan malzemeye dönüyoruz. Sonraki derste minyatür sanatının malzemesini, aharlı kâğıdın ve doğal boyaların nasıl hazırlandığını ele alıyoruz.