Bir yasayı dört soruyla tartmak

Bir an

Perşembe akşamüstü, Hüseyin Bey'in dükkânı. Karşıya açılacak yapı marketin haberi çarşıda yayıldıktan sonra bir ziyaretçi gelmiş: bir hırdavat zincirinin bölge temsilcisi Levent Bey. Teklifi açık: Hüseyin Bey dükkânını zincirin tabelasıyla işletsin, malı zincirden alsın, cirodan pay versin. Levent Bey tabletinde bir grafik gösteriyor ve cümlesini iki kez tekrarlıyor: "Bize katılan dükkânların yüzde doksanı ilk yıl cirosunu artırdı. Bu bir kural Hüseyin Bey. Yalnız kalan esnaf eriyor, zincire giren büyüyor."

Hüseyin Bey'in eşi Saniye Hanım o gün dükkândaydı. Otuz yıl bir şirketin muhasebesini yapmış, şimdi emekli ve apartman yöneticisi. Kocasının yüzündeki ikna olmuş ifadeyi görünce defterini çantasından çıkarıyor. "Levent Bey, birkaç sorum var," diyor. "Yazayım, sonra konuşalım."

Levent Bey cuma akşamına kadar cevap bekliyor. Saniye Hanım'ın sayfasında dört satır var ve her satırın başında bir soru işareti.

Soru

Kendinden emin söylenen bir "yasa" ile karşılaştığında, ona güvenip güvenmeyeceğine karar vermek için hangi soruları, hangi sırayla sormak gerekir?

Nasıl işler

Saniye Hanım'ın dört satırı, bu akademinin bir yasayı tartarken kullanacağı soruların ta kendisi. Her biri cümlenin başka bir zayıf yerine bakar.

Nerede gözlendi? "Yüzde doksan" hangi dükkânlardan çıktı? Hangi şehirlerden, hangi yıllardan, kaç dükkândan? Zincire katılan dükkânlar rastgele seçilmiş olmayabilir: belki zincir yalnız işlek caddedeki, zaten büyüyen dükkânları kabul ediyor. 0.3'teki çay ocağı sorusu burada da geçerli: zincirden ayrılan ya da kapanan dükkânlar bu yüzde doksanın içinde mi?

Neye karşı? Ciro arttı, ama neye göre arttı? Aynı yıl zincire katılmayan dükkânların cirosu ne oldu? Fiyatlar genel olarak artıyorsa, satış miktarı değişmeyen bir dükkânın cirosu da artar. Bir şeyin işe yaradığını söylemek için, o şey olmasaydı ne olacağını tahmin etmek gerekir.

Hangi koşulda çöker? Kural hangi durumda işlemez? Zincir tabelası, bir mahallede yalnız dükkân olduğunda işe yarayabilir; karşısına aynı ürünleri satan büyük bir market açılan bir dükkânda ise aynı tabela bir fark yaratmayabilir. Hiçbir koşulda çökmeyen bir kural yoktur; soru o koşulun Hüseyin Bey'in dükkânında olup olmadığıdır.

Kim söylüyor ve ne kazanıyor? Levent Bey her yeni dükkândan prim alıyor olabilir. Bu, söylediğinin yanlış olduğunu göstermez. Ama hangi verileri seçtiğini, hangilerini göstermediğini etkileyebilir.

Sıra da önemli. Önce iddianın nerede gözlendiği ve neye karşı ölçüldüğü sorulur, çünkü bu ikisi iddianın içeriğini sınar. Kimin söylediği en sona kalır; aksi hâlde iddia, içeriğine bakılmadan söyleyenin kimliğiyle kabul ya da reddedilir.

Kanıt

Dört sorunun her biri, gerçek hayatta pahalıya patlamış bir hatadan çıkar. En iyi belgelenmiş örneklerden biri karşılaştırma grubunun gücünü gösterir. Amerika Birleşik Devletleri'nde onlarca yıl, suça karışmış ya da karışma riski taşıyan gençleri hapishaneye götürüp mahkûmlarla karşılaştıran programlar uygulandı. Arkasındaki öğüt sezgiseldi: korkutursan doğru yola gelir. Programdan sonra gençlerin çoğunun suç işlemediğini anlatan önce-sonra hikâyeleri de vardı.

Kimin söylediğinin ne kadar önemli olabileceğini ise bir denetim çalışması gösterdi.

Levent Bey'in cümlesine dönersek, "neye karşı" sorusunun basit bir hesap yanı da var.

Nerede çöker

Dört soru da çöker.

Soruların sonu gelmeyebilir. Hiçbir iddia bütün sorulara kusursuz cevap vermez; bir noktadan sonra soru sormak karar vermemenin bahanesine dönüşür. Levent Bey cuma akşamına kadar cevap bekliyor. Saniye Hanım'ın amacı, hangi soruların cevapsız kaldığını görerek karar vermek; her soruyu kapatmayı beklemiyor. Cevapsız bir soru, kararın riskini gösterir; kararı yasaklamaz.

"Kim söylüyor" sorusu da kolayca kişiye saldırıya kayar. Çıkarı olan biri de doğru söyleyebilir. Levent Bey'in verisi gerçekten de iyi olabilir. Çıkar çatışması, iddiayı çöpe atmak için değil, onu çıkarı olmayan bir kaynakla karşılaştırmak için bir gerekçedir: zincirden ayrılmış bir esnafla konuşmak, aynı ilçede zincire katılmış birinin defterine bakmak.

Dört soru her şeyi kapsamaz da. Levent Bey'in cümlesinde beşinci bir zayıflık var: "ciro" ölçülmüş, "kâr" ölçülmemiş. Zincire katılıp cirosunu artıran ama malı daha pahalıya alıp cirodan pay verdiği için daha az kazanan bir dükkân da yüzde doksanın içinde sayılır. Bu yüzden dört soru bir başlangıç olarak okunmalı, eksiksiz bir liste olarak değil; ölçütün neyi ölçtüğü sorusu 16. modülde ayrıca açılacak.

Yaygın yanılgılar

Sayılarla

Cochrane derlemesinin ana sonucu bir olasılık oranıyla (odds ratio) verilir: 1,68. Bu sayı ihtimali değil, ihtimalin bir oranını karşılaştırır: programa katılan gençlerde suç kaydı olanların olmayanlara oranı, karşılaştırma grubundaki aynı orandan yaklaşık 1,68 kat yüksektir. Güven aralığı 1,20 ile 2,36 arasındadır, yani bir'in, "etkisiz"in üstündedir.

Bunu sezgiye çevirmek için varsayımsal bir örnek kuralım. Karşılaştırma grubundaki yüz gençten yirmisinin sonradan suç kaydı olsun. Bu, yirmiye seksen, yani 0,25'lik bir oran demektir. Bu oranı 1,68 ile çarpınca 0,42 bulunur ve bu, yüz gençte yaklaşık otuzuna karşılık gelir. Yani programa katılan her yüz gençten aşağı yukarı on kişi fazladan suç kaydıyla karşılaşır. Gerçek sayılar deneyden deneye değişir; bu örnek yalnız oranın büyüklüğünü sezdirmek içindir.

Levent Bey'in yüzde doksanı için de küçük bir hesap yapılabilir. Fiyatların bir yılda yüzde kırk arttığı varsayımsal bir yılda, geçen yıl yüz bin liralık satış yapan bir dükkân aynı miktarı satarsa cirosu yüz kırk bin liraya çıkar. Hiç büyümemiş bir dükkân "cirosunu artıranlar" arasında sayılır. Bu yüzden ciro artışı, ancak aynı dönemde zincire katılmayan dükkânların artışıyla karşılaştırıldığında bir şey söyler.

Herkes için aynı mı?

Hayır. Soru sormak ücretsiz görünür ama herkes için aynı ölçüde mümkün değildir.

Saniye Hanım'ın sorularını sorabilmesi otuz yıllık muhasebe deneyimine dayanıyor. Ciroyla kârı ayırmayı, bir grafiğin hangi yılları gösterdiğini sormayı biliyor. Böyle birini yanında bulamayan bir esnaf aynı teklif karşısında daha savunmasızdır. Bilgi de eşit dağılmamıştır: Levent Bey'in elinde zincirin bütün dükkânlarının verisi var, Hüseyin Bey'in elinde yalnız kendi defteri. Bu asimetri, "neye karşı" sorusunu sormayı kolaylaştırmaz; cevabın verisine kimin sahip olduğunu belirler.

Soru sormanın sosyal bir bedeli de olabilir. Uzun süreli ilişkilere ve güvene dayanan bir çarşı ortamında, karşı tarafa "verin nereden geliyor" diye sormak kimi zaman güvensizlik işareti sayılabilir. Bu bedel herkes için aynı değildir: yaşça büyük, tanınan bir esnafın sorusu ile yeni dükkân açmış genç birinin aynı sorusu farklı karşılanabilir. Ders soruların gerekli olduğunu söyler; nasıl sorulacağı ise ilişkiye ve konuma göre değişir.

Kendi hayatında

Bu dersin görevi dört soruyu gerçek bir cümle üzerinde denemek.

Bu son adım bir sonraki dersin hazırlığı. Bir tahmini tarihi ve güven düzeyiyle yazmak, ileride ne kadar haklı çıktığını görmenin tek yoludur. Cevapsız soruların listesi de tam olarak neyi bilmediğinin haritasıdır.

Kapanış

1. Bir yasayı tartmak için önce nerede gözlendiği ve neye karşı ölçüldüğü, sonra hangi koşulda çöktüğü, en son da kimin hangi kazançla söylediği sorulur.
2. Karşılaştırma grubu olmadan bir şeyin işe yaradığı söylenemez: korkutarak caydırma programları önce-sonra hikâyelerinde başarılı görünüyordu, karşılaştırma grubuyla bakılınca zarar verdiği ortaya çıktı.
3. Çıkar çatışması bir iddiayı yanlış yapmaz, onu bağımsız bir kaynakla sınamayı gerektirir; dört soru da bir kontrol listesi değil, karar vermek için cevapsız kalanları görmenin yoludur.

Beş soru

1. Bir diyet uygulaması "kullanıcılarımızın yüzde sekseni ilk ayda kilo verdi" diyor. Dört sorudan hangisi en önce sorulmalı, neden?
2. Cochrane derlemesindeki 1,68'lik olasılık oranı ne anlama gelir? Güven aralığının 1,20 ile 2,36 arasında olması neden önemli?
3. Fiyatların yılda yüzde otuz arttığı bir dönemde bir dükkânın cirosu yüzde yirmi artmış. Bu dükkân büyümüş mü, küçülmüş mü? Hangi varsayımla?
4. Bir arkadaşın "Bu finansal danışman komisyon alıyor, o yüzden söylediği her şey yanlış" diyor. Bu çıkarımın sorunu ne, ve ne yapmak daha doğru olur?
5. Levent Bey'in cümlesinde dört sorunun yakalamadığı beşinci zayıflık neydi?

Yanıtlar

İlk soruda en önce "neye karşı" sorulmalı: bir ayda kilo vermek, uygulamayı kullanmayan ama aynı kararı almış insanlarda da görülebilir. Ayrıca "nerede gözlendi" önemlidir: uygulamayı bırakanlar yüzde seksenin içinde mi, yoksa yalnız kullanmaya devam edenler mi sayıldı?

İkinci soruda oran, programa katılan gençlerde suç kaydı olanların olmayanlara oranının, karşılaştırma grubundaki aynı orandan yaklaşık 1,68 kat yüksek olduğunu söyler; bu, ihtimalin kendisinin 1,68 katı demek değildir. Güven aralığının alt sınırının bile birin üstünde olması, sonucun "etki yok" ihtimaliyle uyumlu olmadığını, programın gerçekten zarar verdiğini gösterir.

Üçüncü soruda fiyat artışı satış miktarının değişmediği varsayımıyla tek başına yüzde otuzluk bir ciro artışı getirirdi. Ciro yüzde yirmi arttıysa, satılan miktar yaklaşık yüzde sekiz azalmıştır: 1,20 bölü 1,30 yaklaşık 0,92 eder. Dükkân ciro olarak büyümüş görünse de miktar olarak küçülmüştür.

Dördüncü soruda sorun, çıkarı bir hüküm gibi kullanmaktır. Komisyon, danışmanın öğüdünü kendi kazancına doğru eğebilir; ama bu, söylediği her şeyi yanlış yapmaz. Daha doğrusu, öğüdü çıkarı olmayan bir kaynakla, örneğin masraf karşılaştırması yapan bağımsız bir kaynakla sınamaktır.

Beşinci soruda zayıflık ölçüttü: Levent Bey ciroyu ölçmüştü, kârı değil. Zincire katılıp cirosu artan ama daha pahalı mal ve pay yüzünden daha az kazanan bir dükkân da yüzde doksana dahildir.

Sonraki derse köprü

Saniye Hanım'ın sayfasında cevapsız satırlar kaldı ve Hüseyin Bey cuma akşamı yine de bir karar verecek. Bu kararın iyi mi kötü mü olduğunu bir yıl sonra nasıl anlayacaklar? 0.5'te bir karar defteri açıyoruz: kararı, beklentiyi ve güven düzeyini o gün yazmak, sonucu gördükten sonra hafızanın kararı yeniden yazmasına engel olmak için.