Hata payı: Ne kadar eminiz?

Kanca

Bir önceki derste WASP-12 b'nin yarıçapını kendimiz hesapladık: iki Jüpiter yarıçapına çok yakın bir değer. NASA'nın Ötegezegen Arşivi ise 1,965 diyor. Hangisi doğru? Soruyu böyle sorunca cevabı yok. Çünkü iki sayının da yanında yazılmamış bir şey eksik.

Arşiv aslında eksik bırakmıyor: 1,965'in yanında artı 0,088, eksi 0,087 yazıyor. Bizim sayımızın yanında ise henüz hiçbir şey yok. Belirsizliği yazılmamış bir sayı, bilimde bir iddia bile sayılmaz. Bu derste kendi sayımızın hata payını, aynı gerçek veriden, üç ayrı yolla hesaplayacağız; sonra iki sonucun birbiriyle uyuşup uyuşmadığını soracağız.

Merkezi soru

Bir ölçümün hata payını nereden biliriz, bu pay hesaplar boyunca nasıl taşınır, ve iki farklı ölçüm ne zaman birbiriyle uyumlu, ne zaman çelişkili sayılır?

Anlatım

Her ölçüm bir aralıktır

Aynı şeyi birkaç kez ölçtüğünde her seferinde biraz farklı bir sayı bulursun. Bu, ölçen kişinin beceriksizliği değil, ölçmenin doğasıdır. Ders 19.5'te gördüğümüz gibi ışık bile parçacıklar hâlinde, rastgele gelir. Bir ölçümün hata payı, gerçek değerin nerede olabileceğini söyleyen bir aralıktır: "2,01 artı eksi 0,02" demek, gerçek değerin büyük olasılıkla bu aralıkta olduğunu söylemektir.

Bu aralığın en yaygın ölçüsü standart sapmadır. Bir sayı kümesinin ortalamasından ne kadar dağıldığını gösterir; Yunan harfi sigma, σ, ile yazılır. Ölçümler çan biçimli bir dağılım izliyorsa, değerlerin yaklaşık üçte ikisi ortalamanın bir sigma içinde, yüzde 95'i iki sigma içinde, yüzde 99,7'si üç sigma içinde kalır.

Ortalamanın hatası

Tek bir ölçümün dağılımı ile birçok ölçümün ortalamasının belirsizliği farklı şeylerdir. N tane bağımsız ölçümün ortalaması, tek bir ölçümden √N kat daha kesindir: σ_ort = σ / √N. Sesli okunuşu: ortalamanın standart hatası, tek ölçümün standart sapmasının ölçüm sayısının kareköküne bölümüdür.

Ders 19.6'daki katlamanın gücü de buradan geliyordu. WASP-12'nin ışık eğrisinde iki dakikalık tek bir ölçüm binde iki kadar dağılıyordu. Ama geçişin ortasına düşen 1128 ölçümün ortalaması, √1128 ≈ 33,6 kat daha kesin.

Çözümlü problem: Derinliğin hatası

Işık eğrisini dönemle katladık; geçişin ortasına düşen 1128 ölçüm ile geçişin dışındaki 13.733 ölçümü ayırdık. Geçiş dışındaki tek ölçümlerin dağılımı binde 1,97 çıktı. Derinlik, iki ortalamanın farkı: yaklaşık 0,014968, yani yüzde 1,497.

Farkın hatası, iki ortalamanın hatalarının karelerinin toplamının kareköküdür. Geçiş içindeki ortalamanın hatası 0,00197 / √1128 ≈ 0,000059; dışarıdakininki 0,00197 / √13.733 ≈ 0,000017. Birleşince yaklaşık 0,00006. Sesli okunuşu: yüz binde beş virgül dokuz ile yüz binde bir virgül yedinin karelerinin toplamının karekökü, yaklaşık yüz binde altı. Sonuç: derinlik yüzde 1,497 artı eksi 0,006, yani göreli olarak binde dört.

İkinci yol: önyükleme

Formüller, ölçümlerin bağımsız olduğunu ve çan biçimli dağıldığını varsayar. Bu varsayımlara güvenmek istemiyorsan, önyükleme (bootstrap) denen bir yol var: elindeki veriden, geri koyarak, rastgele yeni örnekler çekersin ve her birinde sonucu yeniden hesaplarsın. Sonuçların dağılımı, belirsizliğin kendisidir.

Python'da bu birkaç satırdır: «np.random.default_rng()» ile bir rastgele sayı üreteci kurar, «rng.choice(veri, len(veri))» ile aynı büyüklükte yeni bir örnek çekersin. Biz derinliği bu yolla 2000 kez yeniden hesapladık. Sonuçların standart sapması 0,00006 çıktı: formülle bulduğumuzla aynı.

Üçüncü yol: geçiş geçiş

Bir başka sınama, her geçişi ayrı ayrı ölçmektir. Yeterli verisi olan 21 geçişin derinliklerini tek tek hesapladık. En sığı yüzde 1,447, en derini yüzde 1,531 çıktı; standart sapmaları yaklaşık yüzde 0,027. Ortalamanın hatası, 0,027 / √21 ≈ 0,006. Üç ayrı yol, aynı hata payını verdi. Belirsizliği birden fazla yoldan hesaplayıp karşılaştırmak, hesabın kendisini sınamanın iyi bir yoludur.

Hata yayılımı

Derinlikten yarıçapa geçerken iki işlem yaptık: karekök aldık, sonra yıldızın yarıçapıyla çarptık. Belirsizlik de bu işlemlerle birlikte taşınır; buna hata yayılımı denir. İki kural çoğu işi görür. Bir sayının karekökünü alınca göreli hatası yarıya iner. İki sayıyı çarpınca göreli hataları, karelerinin toplamının karekökü olarak birleşir.

Derinliğin göreli hatası binde dört; karekök alınca binde iki. Yıldızın yarıçapı, arşivde, 1,69 artı eksi yaklaşık 0,019 Güneş yarıçapı; göreli hatası yüzde 1,1. İkisini birleştirince: √(0,002² + 0,011²) ≈ 0,011. Sesli okunuşu: binde ikinin ve yüzde bir virgül birin karelerinin toplamının karekökü, yaklaşık yüzde bir virgül bir. Yarıçapımız 2,01 artı eksi 0,02 Jüpiter yarıçapı olur.

Burada önemli bir ders gizli. Işık eğrisinden gelen belirsizlik, yıldızın yarıçapından gelenin yanında küçücük. Gezegeni ne kadar iyi ölçersek ölçelim, yıldızı daha iyi tanımadıkça sonuç daha kesinleşmez. Kısacası: bir gezegeni, ancak yıldızını bildiğin kadar bilebilirsin.

Çözümlü problem: Uyumlu mu?

Bizim sonucumuz 2,01 artı eksi 0,022; arşivinki 1,965 artı eksi yaklaşık 0,088. Fark 0,047. İki bağımsız ölçümün farkının hatası, hatalarının karelerinin toplamının kareköküdür: √(0,022² + 0,088²) ≈ 0,090. Fark bölü birleşik hata: 0,047 / 0,090 ≈ 0,5. Sesli okunuşu: yüzde dört virgül yedi bölü yüzde dokuz, yaklaşık yarım sigma.

Yarım sigmalık bir fark, iki ölçümün birbiriyle tamamen uyumlu olduğunu söyler. Rastgele dalgalanmalar bu kadar farkı sıkça üretir. Hangisi doğru sorusunun cevabı şu: ikisi de, kendi hata payları içinde, aynı gerçek değeri gösteriyor.

Asıl tuzak: sistematik hata

Şimdi aynı sınamayı derinliğe uygulayalım. Bizim derinliğimiz yüzde 1,497 artı eksi 0,006; arşivin verdiği derinlik yüzde 1,538 artı eksi 0,004. Fark 0,041; birleşik hata yaklaşık 0,007. Oran yaklaşık 5,7 sigma. Rastgele dalgalanmayla bu kadar büyük bir farkın çıkması neredeyse imkânsızdır.

Demek ki fark rastgele değil, sistematik. Arşivin derinliği başka bir çalışmadan, muhtemelen başka bir modelle ve başka bir yöntemle hesaplanmış olabilir. Derinliğin tanımı, yıldız kenarının kararmasının modellenişi, komşu yıldızlardan sızan ışığın düzeltilmesi ya da gözlemin yapıldığı dalga boyu aralığı küçük farklar yaratır. Bizim basit kutu hesabımız bunların hiçbirini hesaba katmadı.

Buradan çıkan ders şudur: istatistiksel hatanın küçük olması, sonucun doğru olduğu anlamına gelmez. Binde dörtlük bir kesinlikle yanlış bir şeyi ölçebilirsin. Sistematik hatalar, aynı ölçümü tekrarlayarak küçülmez; onları ancak yöntemleri karşılaştırarak, bağımsız sınamalar yaparak yakalarsın.

Sonucu yazmanın biçimi

Bir sonucu hata payıyla yazarken iki alışkanlık işe yarar. Hata payı genellikle bir ya da iki anlamlı basamakla verilir; sonucun kendisi de aynı basamağa yuvarlanır. "2,01229 artı eksi 0,02239" yazmak yanıltıcıdır, çünkü son basamakların hiçbir anlamı yoktur; "2,01 artı eksi 0,02" yeterlidir. Ayrıca hata payının ne anlama geldiği söylenir: bir sigma mı, yüzde 95'lik bir aralık mı? Arşivin verdiği artı ve eksi değerlerin farklı olması, belirsizliğin iki yöne eşit dağılmadığını gösterir; böyle bir durumda iki değer ayrı ayrı yazılır.

Sigmalar gökbilimde

Ders 18.2'deki Hubble gerilimini hatırla: iki yöntemle ölçülen Hubble sabitleri arasındaki fark, bir ekibin hesabıyla beş sigmaya ulaşıyordu ve ölçüm hatalarıyla açıklanamıyordu. Gökbilimciler böyle bir farkı ciddiye alır: ya yeni bir fizik vardır ya da henüz bulunamamış bir sistematik hata. İki olasılığı ayırmak, kimi zaman yıllar süren bir iştir.

Gaia'nın ölçümleri de hep hata paylarıyla gelir. Proxima Centauri'nin paralaksı 768,067 artı eksi 0,050 mili yay saniyesi. Bu, uzaklığında yüz binde altı buçukluk bir belirsizlik demek: 1,302 parseklik uzaklıkta kabaca 17 astronomik birim. Güneş'ten Uranüs'e olan uzaklığa yakın bir belirsizlikle, dört ışık yılı ötedeki bir yıldızın yerini biliyoruz.

Aslında…

Büyük resim

Hata payı, bilimsel bir sonucu dürüst kılan şeydir. "Bu gezegenin yarıçapı 2,01 Jüpiter yarıçapı" demek eksik bir cümledir. "2,01 artı eksi 0,02" demek ise bir iddiadır: başka biri bu aralığın dışında bir değer bulursa, ikimizden biri bir şeyi gözden kaçırmış demektir.

Bu yüzden gökbilimsel keşifler hep sigmalarla konuşur. Bir sinyal gürültüden ne kadar ayrışıyor, iki ölçüm ne kadar çelişiyor, bir kuram veriyle ne kadar uyuşuyor. Bu modülde verini indirdin, ölçtün, bir gezegen buldun; şimdi o bulguya ne kadar güvenebileceğini de söyleyebiliyorsun.

Özet

1. Her ölçüm bir aralıktır; standart sapma dağılımı, σ / √N ise N ölçümün ortalamasının hatasını verir. WASP-12'nin geçiş derinliği için formül, 2000 örnekli önyükleme ve 21 geçişin tek tek ölçümü aynı sonucu verdi: yüzde 1,497 artı eksi 0,006.
2. Hata yayılımında karekök göreli hatayı yarıya indirir, çarpımda göreli hatalar karelerinin toplamının karekökü olarak birleşir. Yarıçapımız 2,01 artı eksi 0,02 Jüpiter yarıçapı çıktı; belirsizliğin çoğu yıldızın yarıçapından geliyor.
3. İki ölçümün farkı birleşik hataya bölünerek uyum sınanır: yarıçapta fark yarım sigma, yani uyumlu; derinlikte 5,7 sigma, yani sistematik bir fark var. İstatistiksel hatanın küçük olması, sonucun doğru olduğunu göstermez.

Görev

Quiz

1. Ortalamanın standart hatası nasıl hesaplanır ve neden tek ölçümün dağılımından küçüktür?
2. Önyükleme yöntemi nedir ve neden kullanılır?
3. Bir sayının karekökü alınınca göreli hatası nasıl değişir?
4. İki ölçümün farkı birleşik hatanın yarısı kadarsa bu ne anlama gelir?
5. İstatistiksel hatası çok küçük bir ölçüm neden yine de yanlış olabilir?

Cevaplar

1. Tek ölçümün standart sapması, ölçüm sayısının kareköküne bölünür; çünkü bağımsız ölçümlerin rastgele dalgalanmaları ortalamada birbirini kısmen götürür.
2. Eldeki veriden geri koyarak rastgele yeni örnekler çekip sonucu her birinde yeniden hesaplamaktır; formüllerin varsayımlarına güvenmeden belirsizliği bulmak için kullanılır.
3. Göreli hatası yarıya iner.
4. Farkın yarım sigma olduğu, yani iki ölçümün kendi hata payları içinde birbiriyle uyumlu olduğu anlamına gelir.
5. Çünkü tanım farkı, eksik bir model ya da bir düzeltmenin atlanması gibi sistematik hatalar tekrarla küçülmez; ölçüm kesin ama kaymış olabilir.

Kaynaklar

Sonraki derse köprü

Bu modülde bir yıldızın ışığını, bir gezegenin izini ve bir sonucun güvenilirliğini tek tek kendimiz hesapladık. Ama bugünün gökyüzü taramaları milyonlarca galaksi, milyarlarca yıldız üretiyor; her birine bir insan bakamaz. Milyonlarca galaksiyi insan gözüyle sınıflandırmak imkânsız. Makine öğrenmesi bu yükü nasıl üstleniyor, ve ona ne kadar güvenebiliriz?