Doğrusal regresyon

Açılış

Martın ilk pazartesisi Adana'daki bir salça üreticisinden e-posta geldi. On kiloluk kavanoz kolisi için yeni bir tasarım istiyorlardı; koli depoda altı kat istiflenecekti ve satın alma müdürü cuma gününe kadar tek bir sayı soruyordu: bu koli kaç kiloya kadar ezilmeden dayanır?

Murat Bey e-postayı laboratuvar sorumlusu Aynur Hanım'a iletti. Cevap bir saat sonra geldi. Yeni tasarımın numune kutuları ancak ertesi hafta kesilebilirdi; ezme cihazı da her tasarımdan yine beş kutu harcayacaktı. Cumaya kadar ölçülecek bir kutu yoktu.

Elde olan, laboratuvarın son altı ayda ezdiği on iki tasarımın defteriydi. Her satırda oluk tipi, karton kalınlığı, kutu yüksekliği ve beş kutunun çöktüğü yük yazıyordu. Salça kolisine tıpatıp benzeyen bir satır yoktu. Biri aynı oluktaydı ama daha kısaydı, öteki aynı yükseklikteydi ama tek oluk yerine çift oluktu.

Öğleden sonra üretim müdürü Tuncay Bey defteri karıştırdı ve en yüksek yükleri işaretledi. En sağlam çıkan dört tasarım, defterdeki en uzun kutular arasındaydı. "Demek ki boy kutuya güç veriyor," dedi. "Salça kolisini biraz uzun yapalım, işimiz garantiye girer."

Murat Bey işaretli satırlara baktı. Dördü de çift oluklu, yedi milimetreye yakın kalın kartondan yapılmış kolilerdi. Uzun olanlar ağır ürün taşıdığı için öyle tasarlanmıştı. Defterden bir sayı çıkacaksa, boyun payını kalınlığın ve oluğun payından ayırmanın bir yolu gerekiyordu.

Tek fikir

Doğrusal regresyon bir sayıyı, her girdiyi bir katsayıyla çarpıp toplayarak tahmin eder. Her katsayı, öteki girdiler sabitken o girdinin payını söyler; bu pay ancak verinin gördüğü aralıkta ve doğrusallık varsayımı tuttuğu sürece güvenilirdir.

Nasıl çalışır

4.2'de regresyonu çıktısı bir sayı olan denetimli öğrenme problemi olarak tanımladık; 4.7'de de kâğıt üzerinde tek girdili bir doğru uydurduk. Aynur Hanım'ın defterinde ise girdi tek değil, üç tane. Bu derste o doğruyu birden çok sütuna genişletiyoruz.

Tanımdaki son cümle 4.5'teki ortalama kare hatadır. Model, katsayıların her olası değerini denemez; ya Ders 4.6'daki gibi kaybı adım adım aşağı indirerek ya da tablo küçükse doğrudan bir hesapla en iyi katsayılara varır.

Defterin on iki tasarımı, her biri beş kutuyla, altmış ezme ölçümü eder. Bu tablodaki sayılar kurgusaldır ama hesap gerçektir. Üç girdiden ikisi sayıdır: milimetre cinsinden karton kalınlığı ve santimetre cinsinden kutu yüksekliği. Üçüncüsü, oluk tipi, bir addır: tek oluklu B, biraz daha kalın tek oluklu C ve iki katmanlı çift oluk BC.

Model bir addan hesap yapamaz, oluk tipini sayıya çevirmek gerekir. İlk akla gelen B'ye bir, C'ye iki, BC'ye üç demektir. Bu kodlama modele gizli bir varsayım dayatır: B'den C'ye geçmek ile C'den BC'ye geçmek aynı miktarda güç eklesin. Ölçümler bunu söylemiyor. Bunun yerine tabloya iki yeni sütun açılır. Birincisi "C oluklu mu?" sorusunu sorar ve cevap evetse bir, hayırsa sıfır yazar; ikincisi aynı soruyu çift oluk için sorar. İki sütunun da sıfır olduğu satır B oluklu kutudur, karşılaştırmanın başlangıç noktasıdır. Böylece her oluk tipi kendi payını ayrı ayrı alır.

Altmış ölçüme bu dört sütunla doğrusal regresyon uydurulduğunda, yuvarlanmış haliyle şu model çıkar. Dayanım, elli yedi kilo, artı her milimetre karton için elli dokuz kilo, eksi her santimetre yükseklik için iki kilo; kutu C oluksa yirmi üç kilo daha, çift oluksa yüz yirmi üç kilo daha.

Tablodaki "aynı oluk ve boyda" ifadesi katsayının anlamının kendisidir. Tuncay Bey'in gözü defterde yalnız yükseklikle dayanıma bakmıştı. Aynı altmış ölçüme yalnız yükseklikle bir doğru uydurulduğunda eğim artı yedi çıkıyor: kutu bir santim uzadıkça yedi kilo daha sağlam görünüyor. Üç girdili modelde aynı sütunun katsayısı eksi iki. İşaret dönmüş. Uzun kutular defterde daha sağlam görünüyordu, çünkü uzun kutuların hepsi kalın ve çift olukluydu. Kalınlık ve oluk sabit tutulunca, uzamak kutuya güç eklemiyor, bir miktar güç alıyor. 3.5'teki karıştırıcı değişken burada bir katsayının işaretini çeviriyor.

Salça kolisinin taslağı C oluklu, dört virgül iki milimetre kalınlığında ve otuz iki santim yüksekliğinde. Hesap şöyle ilerler: elli yedi, artı elli dokuz çarpı dört virgül iki yani iki yüz kırk yedi virgül sekiz, eksi iki çarpı otuz iki yani altmış dört, artı C oluk için yirmi üç. Toplam iki yüz altmış dört kilo kadar. Murat Bey müşteriye bu sayıyı "tahmin" diye yazdı ve numuneler gelince ezilecek beş kutunun sonucunu ayrıca göndereceğini ekledi.

Modelin defteri ne kadar iyi özetlediği de tek bir sayıyla söylenebilir. Her kutu için en sade tahmin, altmış ölçümün ortalamasını söylemektir. Modelin kare hatası bu sade tahminin kare hatasıyla kıyaslanır.

Üç girdili modelde bu sayı sıfır virgül doksan sekiz, yalnız yükseklikli doğruda sıfır virgül elli yedi çıkıyor. Yüksek bir belirlilik katsayısı, modelin eğitim tablosundaki sayılara iyi oturduğunu söyler. Yeni bir kutuda haklı çıkacağını ya da katsayıların neden-sonuç anlattığını söylemez.

Bu yöntemin adı bir kalıtım gözleminden gelir.

"Gerileme" Galton'un eğiminin birden küçük olmasından geliyordu; bugün bir kutunun dayanımı tahmin edilirken hiçbir şey gerilemiyor, ad yöntemin üzerinde kaldı. Galton'un ters yön uyarısı ise hâlâ geçerlidir: dayanımdan kalınlığı tahmin eden bir doğru, kalınlıktan dayanımı tahmin eden doğrunun tersi değildir.

Sahada

Nerede yanılır

Doğrusal regresyonun en sessiz yanılgısı, verinin görmediği bir yerde de aynı katsayılarla konuşmaya devam etmesidir. Defterdeki kutular on beş ile altmış santim arasındaydı. Üç milimetrelik B oluklu bir kutuyu yüz elli santim yüksekliğe uzatırsak model eksi altmış altı kilo der; kutu kendi ağırlığını bile taşıyamaz gibi bir sonuç. Model bu sayının saçma olduğunu bilmez; yüz on yedi santimden sonra bu kutu için hep eksi sayılar üretir, çünkü her santimin iki kilo aldığını varsayar ve bu varsayımı hiçbir zaman sınamamıştır. Altmış santimin ötesinde ilişki bir eğriye dönüşebilir; bu tablo bunu söyleyemez.

İkinci yanılgı, modelde olmayan sütunlardır. Laboratuvar kutuları her zaman aynı kuru odada eziyor. Salça kolisi ise Çukurova yazının nemli havasında bir depoda bekleyecek. Model nemin adını bilmez; katsayıları kuru odanın katsayılarıdır. Tahmin ettiği iki yüz altmış dört kilo, defterdeki koşullarda bir kutunun dayanımına dair bir tahmindir.

Üçüncüsü, birbirine çok bağlı girdilerdir. Defterde çift oluklu kutuların hepsi altı virgül altı ile yedi virgül iki milimetre arasında. Kalınlık ile oluk tipi neredeyse birlikte hareket ediyor; model kalınlığın payını ile çift oluğun payını birbirinden ancak bu küçük farklardan ayırabiliyor. Altmış ölçümlük bir defterde iki yeni tasarım eklendiğinde bu iki katsayı belirgin biçimde oynayabilir, toplam tahmin ise pek değişmez. Böyle bir katsayıyı mühendislik kuralı gibi okumak en kolay düşülen hatadır.

Uygulama

Bu çalışmada dersin modelini kâğıt kalemle kullanacak, bir kategorik sütunu sayıya çevirecek ve modelin bozulduğu yeri kendin bulacaksın. Model şuydu: dayanım, elli yedi artı elli dokuz çarpı kalınlık, eksi iki çarpı yükseklik, C oluksa artı yirmi üç, çift oluksa artı yüz yirmi üç.

1. Birinci kutu B oluklu, üç virgül bir milimetre, yirmi santim. Dayanım tahminini hesapla.
2. İkinci kutu C oluklu, dört virgül bir milimetre, yine yirmi santim. Tahmini hesapla ve birinci kutuyla farkını bul.
3. Bu farkın ne kadarı kalınlıktan, ne kadarı oluk tipinden geliyor? İkisini ayrı ayrı yaz.
4. Dört satırlık küçük bir tablo kur: B, C, BC ve yine B. Her satıra "C oluklu mu?" ve "çift oluklu mu?" sütunlarını sıfır ve birle doldur.
5. Oluk tipini bir, iki, üç diye kodlasaydık model B'den C'ye ve C'den BC'ye aynı farkı vermek zorunda kalırdı. Katsayılara bakarak gerçek iki farkı bul.
6. Üçüncü kutu B oluklu, üç milimetre, yüz elli santim. Dördüncü kutu çift oluklu, yedi milimetre, yine yüz elli santim. İkisini hesapla. Hangisi fiziksel olarak imkânsız, hangisi yalnız şüpheli?
7. Tahmin etmek istediğin bir sayı seç: bir evin ısınma faturası, bir fırının günlük ekmek satışı, bir koşucunun on kilometre süresi. Üç girdi yaz ve her girdinin katsayısının işaretini, öteki ikisi sabitken, tahmin et. Sonra tek başına bakıldığında işareti ters görünebilecek bir girdi bul ve nedenini bir cümleyle yaz.

Doğru hesap şu sayılara varır. Birinci kutu yaklaşık iki yüz kilo, ikinci kutu yaklaşık iki yüz seksen iki kilo; fark seksen iki kilo, bunun elli dokuzu bir milimetrelik kalınlıktan, yirmi üçü C oluktan geliyor. Dördüncü adımın tablosunda B satırları iki sıfır, C satırı bir ve sıfır, BC satırı sıfır ve bir alır. Gerçek farklar B'den C'ye yirmi üç, C'den BC'ye yüz kilodur; bir-iki-üç kodlaması bu ikisini eşitlemeye çalışırdı. Üçüncü kutu eksi altmış altı kilo çıkar ve imkânsızdır; dördüncü kutu iki yüz doksan üç kilo çıkar, makul görünür ama defterde yüz elli santimlik tek bir kutu olmadığı için o da yalnız bir tahmindir.

Defter: "Katsayı okuma" adlı sayfaya yedinci adımın üç girdisini, tahmin ettiğin işaretleri ve ters görünebilecek girdiyi yaz; altına modelinin hangi aralıkta denenmiş sayılacağını bir satırla not et.

Hata köşesi

Sorumluluk

Müşteriye giden iki yüz altmış dört kilo bir tahmindir ve onu kimin, hangi defterle, hangi koşulda ürettiğini yazmak modeli kuranın sorumluluğudur. Murat Bey'in fabrikasında karar şöyle bağlandı: model yalnız tasarım aşamasında kullanılacak, verilen her sayının yanında defterin yükseklik ve kalınlık aralığı yazacak, aralığın dışındaki bir tasarım için sayı verilmeyecek. Son söz yine Aynur Hanım'ın beş kutusunda. Numuneler ezildiğinde sonuç tahminle karşılaştırılıp deftere eklenir; böylece model her yeni tasarımla doğrulanır. Katsayıların okunuşunu müşteriye "boy dayanımı düşürür" gibi bir kurala çevirmek de bir karardır ve onu katsayıyı okuyan değil, imzasını atan kalite müdürü verir.

Kapanış

1. Doğrusal regresyon her girdiyi bir katsayıyla çarpıp toplar; katsayılar ortalama kare hatayı en küçük yapacak biçimde seçilir ve kategorik bir sütun, her değeri için sıfır-bir sütunlarına çevrilerek modele girer.
2. Bir katsayı, öteki girdiler sabitken o girdinin payıdır; girdiler birbirine bağlıysa tek başına bakılan eğimle aynı çıkmaz, işareti bile dönebilir, ve nedeni değil verideki birlikteliği anlatır.
3. Model, verinin gördüğü aralıkta ve doğrusallık tuttuğu sürece güvenilirdir; aralığın dışında saçma sayıları da aynı güvenle söyler, bu yüzden her tahminin yanına aralık ve sonra yapılan ölçüm yazılır.

Üç soru

1. Tuncay Bey'in gözü yükseklik ile dayanım arasında artı bir ilişki gördü, üç girdili model eksi bir katsayı verdi. İkisi aynı veriden nasıl çıkar?
2. Oluk tipini bir, iki, üç diye kodlamak neden yanlış bir varsayım dayatır ve yerine ne yapılır?
3. Galton'un üçte iki eğimi neden "regresyon" adını doğurdu ve bugün bir kutunun dayanımını tahmin ederken bu ad neden yalnız bir tarih izi?

Yanıtlar

1. Defterdeki uzun kutular aynı zamanda kalın ve çift olukluydu. Yalnız yüksekliğe bakan doğru, kalınlığın ve oluğun gücünü de yüksekliğe yükler ve eğimi artı yedi çıkar. Üç girdili model kalınlık ve oluğu sabit tutarak yalnız yüksekliğin payını ayırır; o pay eksi iki kilodur.
2. Bir-iki-üç kodlaması B'den C'ye geçişle C'den BC'ye geçişin aynı miktarda güç eklediğini varsayar. Defterde bu farklar yirmi üç ve yüz kilo. Bunun yerine her oluk tipi için sıfır-bir sütunu açılır, başlangıç tipi bütün sütunlarda sıfır olur ve her tip kendi katsayısını alır.
3. Galton çocukların boyunun ortalamadan sapmasını anne baba ortasının sapmasının üçte ikisi buldu; eğim birden küçük olduğu için çocuklar ortalamaya doğru "geriliyordu". Bugün aynı yöntem katsayı uydurmanın genel adıdır; bir kutunun dayanımında ortalamaya dönen bir şey yoktur, ad yöntemle birlikte taşınmıştır.

Sonraki derse köprü

Doğrusal regresyonun tahmini sınırsızdır: yüz elli santimlik kutuda eksi altmış altı kilo diyebilir. Soru "kaç kilo" değil de "bu kutu altı kat istifte çöker mi" olduğunda bu bir sorun olur, çünkü cevap evet ya da hayırdır ve bir olasılık sıfırın altına ya da birin üstüne çıkamaz. Ders 5.2, Lojistik regresyon, aynı katsayılı toplamı bir olasılığa çeviren sınıflandırıcıyı konu ediyor.