Seçici kanıt

Açılış sahnesi

Ceren bir lisenin rehber öğretmeni. Bir gün okula bir eğitim şirketi geliyor ve mezun olmak üzere olan öğrencilere bir kodlama kampı tanıtıyor. Sunumun ortasında beş mezunun hikâyesi anlatılıyor: biri bir teknoloji firmasında çalışıyor, biri kendi girişimini kurmuş, biri yurt dışına taşınmış. Sunucu şöyle bitiriyor: "Kampımızdan geçen herkes iyi bir işe giriyor. İşte kanıtı."

Ceren beş hikâyeye bakıyor ve hepsinin gerçek olduğuna inanıyor. Ama içinden bir soru geçiyor: bu beş kişi, kamptan geçen kaç kişinin içinden seçildi? Kampı bitirmeyenler, bitirip iş bulamayanlar, işi bırakanlar nerede? Hikâyelerin hiçbiri yanlış olmayabilir. Yanlış olan, hikâyelerin bütün tabloyu temsil ettiği izlenimi. Bu ders, Düşünme, Okuma ve Felsefi Yöntemler programının Safsatalar ve Retorik kursunda, bir iddiayı destekleyen örneklerin seçilip karşıtlarının dışarıda bırakıldığı durumu, yani seçimin kendisinin bir kanıt sorunu olduğunu soruyor.

Bu derste ne olacak

Önce seçici kanıt yanılgısının yapısını çıkaracağız: elimizde bir iddia ve o iddiayı destekleyen örnekler var, ama örneklerin nasıl seçildiği söylenmiyor. Argümanın tüm gücü, gösterilenlerin gösterilmeyenleri temsil ettiği varsayımına dayanır.

Sonra üç kaynağı izleyeceğiz. Robert Rosenthal, bilimsel yayınlarda olumsuz sonuçların çekmecede kalması yüzünden literatürün nasıl çarpıldığını anlattı. Joseph Simmons, Leif Nelson ve Uri Simonsohn, bir araştırmacının analiz sırasında yaptığı esnek tercihlerin, hiçbir şeyi gizlemeden bile yanlış bir sonucu nasıl "bulabildiğini" gösterdi. Marc Mangel ve Francisco Samaniego ise Abraham Wald'ın savaş uçakları üzerindeki çalışmasını aktararak, görünen örneğin zaten bir eleme sonucu olabileceğini gösterdi.

Ardından üç itirazı tartacağız: her kanıtın bir seçimden geçtiği için seçicilikle suçlamanın anlamsız olduğu, hikâyenin gücünün istatistikten fazla olduğu ve seçimin nasıl yapıldığını öğrenmenin çoğu zaman imkânsız olduğu.

Sonda, bir kanıt yığınını dört adımla sınamanın yolunu göstereceğiz: iddiayı ve örnekleri yazmak, örneklerin nasıl seçildiğini sormak, gösterilmeyenlerin ne olabileceğini aramak ve hükmü ölçülü yazmak.

Merkez soru

Sorumuz şu: bir iddiayı destekleyen örnekler gösterildiğinde, bu örneklerin tüm durumu temsil ettiğini ne zaman kabul edebiliriz ve seçici kanıt yanılgısından nasıl kaçınırız?

Ölçülü iddiam şu: bir örnek yığını, nasıl toplandığı bilinmedikçe bir iddiayı yalnız kısmen destekler, ve kanıtı sınamak, iddiayı ve örnekleri açıkça yazmayı, seçim yolunu sormayı, gösterilmeyenlerin ne olabileceğini aramayı ve hükmü seçim yolunun taşıdığı kadar güçlü yazmayı gerektirir, çünkü aynı örnekler, farklı seçim yollarından geçmiş olarak birbirine zıt sonuçları destekleyebilir.

Sıfır noktası

Bir iddiaya inanmak için örnek isteriz ve örnek bulmak çoğu iddia için kolaydır. Dünyada yeterince çok olay olduğundan, hemen her iddia için onu destekleyen birkaç olay bulunur. Bu yüzden bir örneğin varlığı, iddiayı çok az sınar.

Sınanan şey, örneğin varlığı değil, örneklerin nasıl bulunduğudur. Bir kişi iddiasına uyan örnekleri arıyor ve uymayanları bırakıyorsa, bulduğu yığın iddiasına uymak zorundadır. Yığın büyüse bile, seçimin yönü değişmedikçe hiçbir şey öğretmez.

Bu yüzden seçici kanıt iki ayrı yerden bozulabilir. Bir kişi bilerek ya da bilmeden karşıt örnekleri dışarıda bırakabilir. Ya da karşıt örnekler, kişinin kusuru olmadan, görünmez olabilir: bir süreç onları baştan elemiş olabilir. İkisinde de görünen yığın, gerçek tablodan farklıdır.

Argümanın yapısı

Bir kanıt yığınını sınamak için dört adım izlenebilir.

Birinci adım, iddiayı ve örnekleri açıkça yazmaktır. İddia ne, örnekler kaç tane, hangi türden? Sunumun iddiası, kampı bitiren herkesin iyi bir işe girdiği. Örnekler beş mezun hikâyesi. İddia bir "herkes" söylüyor ve kanıt beş kişiden oluşuyor.

İkinci adım, örneklerin nasıl seçildiğini sormaktır. Bu örnekleri kim buldu, hangi ölçütle ve hangi havuzdan? Aynı ölçüt iddiadan mı geliyor? Seçim bir eleme sürecinden mi geçti? Sunumdaki beş kişi, kampın seçtiği kişiler. Kampın çıkarı, iddianın doğruluğunda.

Üçüncü adım, gösterilmeyenlerin ne olabileceğini aramaktır. Çekmecede, elenmişlerde ya da hiç sorulmamışlarda ne var? Bunları bulmak mümkün değilse, en azından "bu boşluk hangi yöne çeker" diye sorulabilir. Kampı bitirmeyenler ve iş bulamayanlar, iddiaya aykırı olacak grup.

Dördüncü adım, hükmü seçim yolunun taşıdığı kadar güçlü yazmaktır. Seçim yolu bilinmiyorsa ya da iddiayı destekleyecek yönde çarpıtıyorsa, hüküm bunu söyler: "Beş mezun kamptan iyi bir sonuç alabildiğini gösterir, ama kampın ortalama sonucunu göstermez."

Görüşler ve pozisyonlar

Seçici kanıtın nasıl değerlendirilmesi gerektiği konusunda üç görüş var.

Birinci görüş, örnek sayısı görüşüdür. Buna göre kanıtın gücü örnek sayısıyla artar ve yeterince çok örnek, seçimin etkisini bastırır.

İkinci görüş, seçim yolu görüşüdür. Buna göre örnek sayısı değil, örneklerin nasıl toplandığı belirleyicidir ve tek yönlü bir seçimle toplanmış çok sayıda örnek, az sayıda dengeli örnekten zayıf olabilir. Rosenthal ve Simmons ile arkadaşları bu çizgiye yakındır.

Üçüncü görüş, eleme görüşüdür. Buna göre görünen örnek, çoğu zaman bir eleme sürecinin ürünüdür ve asıl soru, neyin elendiğidir. Wald'ın çözümlemesi bu çizgidedir.

En güçlü itiraz

Bu yaklaşıma üç yönden ciddi itiraz yapılabilir.

Seçici kanıt yanılgısına dikkat çeken düşünce şu cevabı verebilir. Yığının gücü, ondan haberdar olmadığımız kısımla sınırlıdır. Neyi bilmediğimizi bilmek, bilgimizi zayıflatmaz, tersine, güvenimizi gerçek kanıtın taşıdığı kadar ayarlar.

Açık kalan sorular

Bir kanıt yığınının seçim yolu tümüyle bilinemiyorsa, ona ne ölçüde güvenmek makuldür? Bilinmeyen seçim, kanıtı sıfıra mı indirir, yoksa yalnız zayıflatır mı?

Kendi topladığımız kanıtta seçiciliği nasıl fark edebiliriz? Kendi iddiamıza uyan örneği fark etmek kolay, uymayanı aramak zor olduğuna göre, karşıt örneği aramayı önceden nasıl planlarız?

Çekmecedeki sonuçlar bir gün ortaya çıktığında, eski kanıta dayanan kararlar geri alınmalı mı? Seçimin çarpıttığı bir literatürle verilmiş kararlar için kimin sorumluluğu var?

Yaygın hatalar

Kendin dene

Aklında kalsın

Beş cümlede dersin iskeleti.

Seçici kanıt, bir iddiayı destekleyen örneklerin gösterilip karşıtlarının dışarıda bırakılmasıdır ve seçimin kendisi bir kanıt sorunudur. Rosenthal, olumlu sonuçların yayımlanıp olumsuzların çekmecede kalmasının literatürü çarpıtabileceğini gösterdi.

Simmons ve arkadaşları, veri çözümlemesindeki esnek tercihlerin, gizlenmeden de yanlış bir sonucu bulabildiğini gösterdi. Mangel ve Samaniego'nun aktardığı Wald çözümlemesi, görünen örneğin bir eleme sürecinin ürünü olabileceğini gösterdi.

Sınama dört adımdan geçer: iddiayı ve örnekleri yazmak, seçim yolunu sormak, gösterilmeyenleri aramak ve hükmü seçim yolunun taşıdığı kadar güçlü yazmak. Buna üç itiraz yöneltildi. Her kanıtın seçimden geçtiği, hikâyenin yeterli olduğu ve seçim yolunun öğrenilemeyeceği söylendi.

Bu yüzden seçici kanıttan kaçınmak, örnekleri reddetmek değil, örneklerin arkasındaki seçimi ve görünmeyen kısmı sormaktır.

Sonraki derse köprü

Bu derste görünen örneklerin nasıl seçildiğini sorduk. Ceren'in sunum örneğinde bir söz de iş görüyordu: "iyi bir iş." Beş hikâyenin her biri, bu sözün farklı bir anlamıyla iyi olabilirdi.

Bir teknoloji firmasında çalışmak, girişim kurmak ve yurt dışına taşınmak, aynı ölçütle ölçülen üç şey değil. Bir iddiada bir sözcük, bir yerde bir anlamda, başka yerde başka bir anlamda kullanıldığında, argüman yerinde durmuyor gibi görünse de kayıyor.

Bir sonraki modül bu soruya dönüyor. Dil ve çerçeve modülünün ilk dersi Belirsizlik, bir sözcüğün ya da cümlenin birden çok anlama gelebilmesinin, bir argümanı nasıl sessizce değiştirdiğini soruyor.