Hesap ve enerji

Açılış

Doruk telefonu sıranın üstüne bıraktı. "Hocam, burada yazıyor: bir yapay zekâ modelini eğitmek, beş arabanın bütün ömrü boyunca saldığı kadar karbon salıyormuş."

Zeynep Hanım'ın biyoloji dersinde o hafta karbon döngüsü vardı ve sınıf koridor panosu için okulun karbon kâğıdını hazırlıyordu. Elçin son elektrik faturasını tahtaya yazmıştı: bir ayda yedi bin iki yüz kilovatsaat. Mert listeye bir satır daha eklemek istiyordu: ödevlerde kullandıkları sohbet asistanı.

Berk itiraz etti. "Model bir kere eğitildi. Biz soru sorunca fazladan bir şey yanmıyor ki."

"Yanıyor," dedi Elçin. "Cevabı bir yerde bir bilgisayar hesaplıyor. O bilgisayar da prize takılı."

Doruk ekrana döndü. "Beş araba kimin faturası o zaman? Eğitimin mi, bizim soruların mı?"

Zeynep Hanım haberin altını okudu. Hangi modelin, hangi yıl, hangi elektrikle eğitildiği yazmıyordu; en altta bir makaleye bağlantı vardı. Faturanın yanına tebeşirle şunu yazdı: "Beş araba, neyin faturası?"

Tek fikir

Bir eğitimin bedeli çarpanların zinciridir: kaç işlem yapıldığı, bu işlemin kaç kilovatsaate mal olduğu ve o elektriğin ne kadar karbonla üretildiği. Her halka on kat oynayabildiği için, nerede ve kaç denemeyle yapıldığı yazılmamış bir sayı okunamaz.

Nasıl çalışır

Ders 9.5'te eğitimin toplam işlem sayısının parametre sayısı ile kelime parçası sayısının çarpımıyla büyüdüğünü gördük. Bu dersin sorusu o işlemin faturası.

Ders 8.6'da panoda kâğıtla izlediğimiz YA DA ağının dokuz parametresi vardı. İleri geçişte her parametre bir çarpma ve bir toplamaya girer; geri geçiş bunun yaklaşık iki katı iş çıkarır. Örnek başına toplam elli dört işlemdir, dört satırı bin tur döndürmek iki yüz on altı bin işlem; bir cep telefonu bunu anında bitirir.

Şimdi aynı kuralı bir milyar parametreli ve yüz milyar kelime parçasıyla eğitilen bir modele uygulayalım. Altı çarpı bir milyar çarpı yüz milyar, altı çarpı on üzeri yirmi işlem eder. Bu sayıyı saate, saati kilovatsaate, kilovatsaati karbona çevirmek için üç bilgiye daha ihtiyaç var.

Birincisi donanımın hızıdır. Ders 2.5'te tanımladığımız grafik işlemcinin kutusunda bir tepe hızı yazar; gerçek eğitimde veri taşıma ve bekleme yüzünden bunun ancak bir kısmı kullanılır. Varsayalım ki tepe hızı saniyede yüz trilyon işlem, kullanılan pay yüzde kırk. Saniyede kırk trilyon işlemle altı çarpı on üzeri yirmi işlem on beş milyon saniye sürer: dört bin yüz altmış yedi grafik işlemci saati. Altmış dört işlemciyle iki gün on yedi saat sürer; işlemci sayısı süreyi kısaltır, toplam saati değiştirmez.

İkincisi işlemcinin çektiği güçtür. Kendi payına düşen sunucu, bellek ve ağ donanımıyla birlikte işlemci başına yarım kilovat varsayalım. Dört bin yüz altmış yedi saat çarpı yarım kilovat, iki bin seksen üç kilovatsaat eder.

Bir virgül beşle iki bin seksen üç kilovatsaat üç bin yüz yirmi beşe çıkar: okulun bir aylık faturasının yarısından az.

Üçüncüsü elektriğin nasıl üretildiğidir.

Kilovatsaat başına dört yüz gram varsayarsak üç bin yüz yirmi beş kilovatsaat bin iki yüz elli kilogram eder. Aynı eğitim kilovatsaat başına altmış gram salan bir şebekede yüz seksen yedi buçuk kilogramda kalır. Model aynı, işlem aynı; yalnız priz değişti. Türkiye şebekesinin gerçek değeri yıla göre değişir; buradaki sayılar varsayımdır.

Zincirin dışarıda bıraktığı en büyük çarpan deneme sayısıdır: ayar aramaları, çöken koşular, vazgeçilen fikirler.

Doruk'un beş arabası da bu makaleden geliyor. İlk tabloda bir arabanın yakıtıyla birlikte ömür boyu salımı yüz yirmi altı bin libre, bir mimari arama sürecinin tahmini altı yüz yirmi altı bin libreydi. Mimari arama, en iyi ağ yapısını bulmak için çok sayıda adayı eğitip karşılaştırır. Aynı tabloda tek bir büyük çeviri modelinin eğitimi yaklaşık seksen yedi kilogramdı.

Eğitim bir kez yapılır; Ders 1.4'te adlandırdığımız çıkarım ise model kullanıldığı sürece her soruda tekrar eder.

Günde on milyon soru alan bir sistem aynı oranla günde otuz dokuz virgül altı megavatsaat çeker ve yukarıdaki bin iki yüz seksen yedi megavatsaatlik eğitimi otuz üç günden kısa sürede geçer. Bu bir varsayım hesabıdır; soru başına enerji donanıma ve boşta beklemeye göre katlarca değişir.

Sahada

Nerede yanılır

Zincirin her halkası bir varsayım taşır ve dış tahminler buradan şaşar. Strubell ve arkadaşlarının mimari arama sayısı, aramanın nasıl yapıldığına dair tek bir yanlış varsayımla kabaca on dokuz kat büyüdü; veri merkezi ve şebeke düzeltilince fark seksen sekiz kata çıktı. Patterson ve arkadaşları iki bin yirmi iki makalesinde, salımı yazmayan makaleler için yapılan dış tahminlerin yüz ile yüz bin kat yanılabildiğini yazar; ölçenin kendi kaydı en dikkatli dış tahminden değerlidir.

Güç kullanım etkinliğinin de sınırı var. Luccioni ve arkadaşları bu oranın veri merkezi altyapısının bütün tüketimini kapsamadığını yazar ve boşta bekleyen düğümlerin enerjisini ayrıca ölçer; donanımın üretimindeki salım orana hiç girmez. Karbon yoğunluğunun yıllık ortalaması da gece rüzgârla, gündüz kömürle çalışan bir şebekede saati gizler.

İnce bir tuzak da brüt ile net arasındadır. Bir şirket yenilenebilir enerji sertifikası aldığında net salımını düşük gösterebilir; makinelerin bağlı olduğu şebeke o saatte yine kömür yakıyor olabilir. Patterson ve arkadaşlarının tablosunda aynı veri merkezi için kilovatsaat başına brüt dört yüz yetmiş sekiz, net seksen gram yazar. Bir rapor bu ikisinden hangisini verdiğini söylemiyorsa sayı karşılaştırılamaz.

Uygulama

Bir hesap tablosunda küçük bir modelin eğitim bedelini halka halka kuracak ve eğitimi kullanımla tartacaksın. Bütün sayılar aşağıda ve hepsi varsayım.

1. A1 hücresine toplam işlemi yaz: altı çarpı üç yüz milyon çarpı yirmi milyar.
2. Tepe hızı saniyede yüz trilyon işlem, kullanılan pay yüzde otuz olsun. A1'i etkin hıza, sonra üç bin altı yüze bölerek işlemci saatini A2'ye yaz.
3. İşlemci başına güç sıfır virgül altı kilovat olsun. A2 ile çarpıp donanım enerjisini A3'e yaz.
4. B sütununa iki veri merkezini koy: güç kullanım etkinliği bir virgül iki ve bir virgül altı. Her biri için A3 çarpı oranı hesapla.
5. C ve D sütunlarına iki şebekeyi koy: kilovatsaat başına sıfır virgül sıfır beş ve sıfır virgül kırk beş kilogram. Dört birleşimin salımını hesapla ve en büyüğü en küçüğe böl.
6. Bu model yayımlanmadan önce otuz deneme koşulmuş olsun. En kötü birleşimin salımını otuzla çarp.
7. Model yayımlandıktan sonra günde bin soru alsın, her soru dört vatsaat çeksin. Günlük kullanım enerjisini hesapla ve iki veri merkezindeki eğitim enerjisini kaç günde geçtiğini bul.
8. Bir cümle yaz: "beş araba" gibi tek bir sayı bu tablonun hangi hücrelerini saklıyor olabilir?

Hesap doğru gittiyse toplam işlem üç virgül altı çarpı on üzeri on dokuz, işlemci saati yaklaşık üç yüz otuz üç, donanım enerjisi iki yüz, bina dahil enerji iki yüz kırk ve üç yüz yirmi kilovatsaattir. Dört salım on iki, on altı, yüz sekiz ve yüz kırk dört kilogramdır; en büyüğü en küçüğün on iki katı. Otuz denemeyle en kötü birleşim dört bin üç yüz yirmi kilogram eder. Günlük kullanım dört kilovatsaattir ve eğitim enerjisini altmış ile seksen günde geçer.

Defter: Tablonun son hâlini "Hesap faturası" sayfasına geçir. Altına, bir eğitim raporunda hangi halkaların yazılı olmasını isteyeceğini ve hangisinin eksikliğinin sayıyı en çok oynattığını not et.

Hata köşesi

Sorumluluk

Eğitimin enerjisini en doğru bilen, eğitimi koşan kurumdur; dışarıdakiler ancak tahmin eder. Raporlama sorumluluğu bu yüzden onda kalır: işlemci saati, deneme sayısı, güç kullanım etkinliği, karbon yoğunluğu ve bunun brüt mü net mi olduğu. Satın alanın kararı bu satırları istemek ve çarparak doğrulamaktır. Bedel faturada görünmeyen yerlere de dokunur: veri merkezinin bağlı olduğu bölgenin şebekesine ve o şebekeyi paylaşan öteki kullanıcılara. Zeynep Hanım'ın panosuna da kaynağı, yılı ve ölçtüğü halka belli olmayan bir sayı girmez.

Kapanış

1. Bir eğitimin bedeli bir zincirdir: toplam kayan nokta işlemi, etkin hız, işlemci gücü, güç kullanım etkinliği ve karbon yoğunluğu çarpılır; tek bir sayı ancak halkalarıyla okunur.
2. Yayımlanan modelin arkasında çoğu zaman yüzlerce ya da binlerce deneme vardır ve geliştirmenin bütünü tek eğitimin çok katı hesap harcayabilir.
3. Çıkarım her soruda tekrar eder ve yaygın bir sistemde kullanımın enerjisi eğitiminkini geçebilir; ikisi ayrı hesaplanır.

Üç soru

1. Doruk'un "beş araba" başlığı hangi tahmine dayanıyordu ve bu tahmin neden sonradan seksen sekiz kat aşağı çekildi?
2. Dersin zincirinde aynı eğitim neden bin iki yüz elli kilogram ile yüz seksen yedi buçuk kilogram arasında değişebiliyor?
3. Berk'in "model bir kere eğitildi, biz sorunca bir şey yanmıyor" cümlesi hangi ölçümle çelişiyor?

Yanıtlar

1. Başlık, Strubell ve arkadaşlarının bir mimari arama için yaptığı tahmine dayanıyordu: bir arabanın ömür boyu salımının kabaca beş katı. Aramanın tam boyutlu eğitimlerle yapıldığı varsayılmıştı, oysa küçük vekil görevlerle yapılmıştı; gerçek veri merkezi ve şebeke de katılınca aramayı yürüten şirketin araştırmacıları üç virgül iki ton buldu. Düzeltme şirketin kendi kayıtlarına dayanır.
2. İşlem, süre ve enerji aynı kalır; değişen elektriğin üretildiği şebekedir. Kilovatsaat başına dört yüz gramla üç bin yüz yirmi beş kilovatsaat bin iki yüz elli kilogram, altmış gramla yüz seksen yedi buçuk kilogram eder. Güç kullanım etkinliği de değişirse fark büyür.
3. Luccioni ve arkadaşlarının ölçümünde açık bir dil modeli canlı kullanımda soru başına yaklaşık dört vatsaat çekti ve hiç soru gelmeyen on dakikalarda bile bellekte beklerken enerji harcadı. Bir bulut şirketinin beyanında makine öğrenmesi enerjisinin beşte üçü çıkarıma gidiyordu.

Sonraki derse köprü

Bu modül derin bir ağın nasıl eğitildiğini ve neye mal olduğunu konuştu; bir görüntü girdiğinde ilk katmanlarda ne olduğunu açmadı. Ders 8.3'te tedarikçinin mühendisi Murat Bey'e kameranın ilk katmanlarının kenara ve renge tepki verdiğini göstermişti. Ders 10.1, Evrişim, Modül 10'u o katmanlarla açıyor: görüntünün üzerinde gezdirilen küçük bir filtre, bir kutunun kenarını ve kartonun dokusunu nasıl buluyor?