Hangi bulgular sağlam?

Kanca

Bir aşçı, annesinin defterindeki bir tarifle bir börek yapıyor. Börek harika oluyor. Komşusu tarifi istiyor; aşçı yazıp veriyor.

Komşunun böreği olmuyor. Aşçı tarifi bir arkadaşına da veriyor; onunki de olmuyor. Aşçı tarifi yeniden okuyor ve fark ediyor: defterde yazmayan bir şey var. Annesi hamuru her zaman bir gece önceden yoğururdu. Kendisi de öyle yapmıştı, farkında olmadan.

Tarifte bir hata yoktu; yalnızca eksik bir koşul vardı. Ama o koşul bulunana kadar, tarif yalnızca bir mutfakta işe yarıyordu. Bir tarifin değeri, bir kez tutmasında değil, başkasının mutfağında da tutmasındadır.

Tek fikir

Bir araştırma bulgusu, bir kez bulunduğunda değil, başka araştırmacılar başka örneklemlerde aynı sonucu bulduğunda güvenilir hâle gelir. Satış dünyasında en çok anlatılan bulguların bir kısmı bu sınavdan geçti, bir kısmı geçemedi. Satıcının işi, bir bulgunun hangi grupta olduğunu sormaktır.

Neden işe yarar

6.14'te kaynağı olmayan iddiaları ayıkladık. Bu ders bir adım öteye gidiyor: kaynağı olan, gerçek bir dergide yayımlanmış bir araştırmaya dayanan iddialar da her zaman sağlam değildir.

Bu programda bunun örneklerini zaten gördük. 1.12'de çok seçeneğin satışı düşürdüğünü gösteren ünlü reçel deneyini anlattık; ama aynı konudaki çok sayıda deneyi birleştiren bir incelemenin ortalama etkiyi sıfıra yakın bulduğunu da. 1.13'te iradenin kullanıldıkça tükendiği fikrinin, yirmiden fazla laboratuvarın birlikte yürüttüğü bir tekrar çalışmasında neredeyse hiç etki bulamadığını gördük. 2.20'de güç pozunun hormonlar üzerindeki etkisinin tekrar çalışmalarında doğrulanmadığını.

Bu örnekler tek tek talihsizlikler değil. Psikolojide ve ona yakın alanlarda, yaklaşık son on beş yıldır, ünlü bulguların ne kadarının tekrar edildiğinde tuttuğunu sistemli olarak ölçen büyük çalışmalar yapılıyor.

Neden bu kadar çok bulgu tekrarlanamıyor? Birkaç nedeni var ve hiçbiri tek başına sahtekârlık değil. Küçük örneklemler, şans eseri çıkan sonuçları gerçek bir etki gibi gösterebilir. Araştırmacının veriyi analiz ederken yaptığı küçük seçimler, hangi katılımcıyı dışarıda bırakacağı, hangi ölçüyü raporlayacağı, sonucu farkında olmadan anlamlı yöne itebilir. Yayın yanlılığı da başarısız denemeleri görünmez kılar. Bugün birçok araştırmacı bu sorunlara karşı yeni alışkanlıklar geliştiriyor: analiz planını veri toplanmadan önce kaydetmek, verileri paylaşmak, aynı deneyi birçok laboratuvarda birlikte yapmak.

Bu programdaki kanıt kutularının etiketleri bu yüzden var. "Tekrarlanmış bulgu", birden çok bağımsız çalışmada tutmuş bir sonucu gösterir. "Erken bulgu", umut verici ama henüz yeterince sınanmamış bir sonucu. "Karma bulgu", çalışmaların farklı sonuçlar verdiği bir alanı. "Tartışmalı", yöntemine ciddi itirazlar yapılmış bir bulguyu. "Tekrarlanamadı", büyük tekrar çalışmalarında tutmamış bir sonucu. "Belgelenmiş olgu", bir deneyden çok, bir durumun var olduğunu gösteren kayıtları. "Uygulayıcı görüşü" ve "Mit" ise araştırma bulgusu olmayan iddiaları ayırır.

Satıcı bir araştırmacı değildir ve her makaleyi okuyamaz. Ama bir bulguyu duyduğunda birkaç soru sorabilir. Bu bir çalışma mı, yoksa birçok çalışmanın birleşimi mi? Tekrar edildi mi, ve tekrarda ne bulundu? Kaç kişiyle yapıldı? Laboratuvarda mı, gerçek bir satış ortamında mı? Etki gerçek hayatta fark edilecek kadar büyük mü? Ve en önemlisi: bulgu ne kadar çarpıcıysa, bu sorulara o kadar çok ihtiyaç vardır. Bu soruların cevabını çoğu zaman bir makalenin özetinde bile bulmak mümkündür; tam metni okuyamayan bir satıcı da özetteki örneklem büyüklüğüne ve çalışmanın nerede yapıldığına bakabilir.

Sahne

Ocak sonu. Deniz, dağıtımcının eğitiminden sonra açtığı üç sütunlu deftere bir satır daha eklemiş: bu kez eğitmenin değil, kendi kuralını.

Kemal Usta’nın versiyonu

Kemal Usta bir gazetede, "Bilim insanları kanıtladı: dükkânda çalan yavaş müzik satışı artırır" başlıklı bir haber okudu. Ertesi gün dükkânda bütün gün ağır bir müzik çaldı. Bir hafta sonra satışlarda bir fark görmedi.

Çırak: Usta, müziği kapatayım mı?

Kemal Usta: Kapat. Bu bilim insanları her şeyi bilirmiş gibi konuşuyor. Hepsi uydurma.

Çırak: Ama belki bizim dükkâna uymuyordur. Belki başka bir şey denesek?

Kemal Usta: Hiçbir şey denemem. Bilim de bir şey bilmez, ben bilirim.

Kemal Usta bir haberin abartısından, bütün araştırmaların değersiz olduğu sonucunu çıkardı. Bir sonraki yıl dükkânını ne bir araştırmaya ne de kendi denemesine göre değiştirdi. Yalnızca alışkanlığına göre.

Selin’in versiyonu

Deniz: Kendi kuralıma bakıyorum: "Çok göstermek yardım değil; doğru üçü göstermek yardım." Kaynak sütununa reçel deneyini yazmışım. Kaynağı var. Sağlam.

Selin: Kaynağı var. Tekrar edildi mi?

Deniz: Birçok deneyi birleştiren bir incelemede ortalama etki sıfıra yakın çıkmış. Ama bazı durumlarda güçlüymüş: seçenekler karmaşık olduğunda, müşteri ne istediğini bilmediğinde.

Selin: Senin müşterilerin hangi durumda?

Deniz: Kahve makinesi alan müşteri çoğunlukla ne istediğini bilmiyor. Pompa basıncı, ısıtıcı, öğütücü... karmaşık. Orada üç seçenek işe yarıyor. Ama çekirdek alan abonelerin çoğu artık kahveyi tanıyor. Seçkiyi seven müşteri, rafta on çeşit görünce mutlu oluyor.

Selin: O zaman kuralın yanlış değil; ama her yerde geçerli de değil. Nasıl yazarsın?

Deniz: "Müşteri seçenekleri tanımıyorsa az göster; tanıyorsa daralmaya gerek yok."

Selin: Bir şey daha. Bu düzeltilmiş kural da şimdilik bir tahmin. Onu kendi dükkânında sınayabilir misin?

Deniz: Belki. Önce nasıl sınayacağımı bilmem lazım.

Deniz defterdeki satırın üstünü çizmiyor; yanına ikinci bir satır ekliyor ve kaynak sütununa iki şey yazıyor: reçel deneyi ve onu tekrar eden incelemeler. Üçüncü bir sütun açıyor: "Kendi dükkânımda denendi mi?" O sütun şimdilik boş.

Sınır

Tekrar krizini öğrenen biri en kolay Kemal Usta'nın tuzağına düşer: tekrarlanamayan bulgulardan bütün araştırmaların değersiz olduğu sonucunu çıkarmak. Bu, saf bir inançtan saf bir inkâra geçmektir; ikisinde de soru sorulmaz. Tekrar krizinin asıl dersi bilimin işe yaramadığı değil, bilimin kendi hatalarını bulup düzeltebildiğidir; tekrar çalışmalarını yapanlar da bilim insanlarıdır. İkinci biçim, sevilmeyen bir bulguyu "tekrarlanamadı" diyerek reddetmek, sevileni ise sorgulamadan kabul etmektir; aynı sorular her bulguya sorulmalıdır. Üçüncüsü, tek bir başarısız tekrarı kesin bir çürütme saymaktır: bir tekrar da kendi hataları olan bir çalışmadır ve birçok konuda tartışma sürüyor. Son olarak, bulguların sağlamlığını müşteriye karşı bir silah olarak kullanmak: bir müşterinin bir inancını küçümsemek ya da ona ders vermek, satıcının işi değildir. Bu ders satıcının kendi kararlarını ve başkalarına anlattıklarını sınaması içindir.

Sahaya çık

Kapanış

1. Bir bulgu, bir kez bulunduğunda değil, başka araştırmacılar başka örneklemlerde aynı sonucu bulduğunda güvenilir hâle gelir; büyük tekrar projeleri, yayımlanmış ünlü bulguların önemli bir kısmının tekrarda tutmadığını gösterdi.
2. Küçük örneklemler, analizdeki küçük seçimler ve yayın yanlılığı bu sorunun başlıca nedenleridir; satıcı bir bulgunun tek çalışma mı yoksa birleşik kanıt mı olduğunu, tekrar edilip edilmediğini ve nerede ölçüldüğünü sorabilir.
3. Tekrarlanamayan bulgulardan bütün araştırmaları reddetmek, sorgulamayı yalnız sevilmeyen bulgulara uygulamak, tek bir başarısız tekrarı kesin çürütme saymak ve bu bilgiyi müşteriye karşı kullanmak sınırın ötesindedir.

Üç soru

1. Bir satış kitabı, ünlü bir deneyi anlatarak bir kural öneriyor. Kuralı kullanmadan önce ne sorarsın?
2. Bir müşterin, satış ekibi için güç pozu eğitimi istiyor. Ne yaparsın?
3. Bir bulgunun tekrarlanamadığını öğrendin. Bu, o konudaki bütün araştırmaların yanlış olduğunu mu gösterir?

Yanıtlar

1. Deneyin tekrar edilip edilmediğini, tekrar edildiyse ne bulunduğunu sorarım. Deniz'in reçel deneyinde bulduğu gibi, ünlü bir deney ile onu tekrar eden incelemeler farklı şeyler söyleyebilir; kural çoğu zaman belirli koşullarda geçerlidir.
2. Selver'in yaptığı gibi, tekrar çalışmalarının sonucunu açıkça anlatırım ve müşterinin asıl amacına, ekibin görüşmeye hazırlanmasına, daha sağlam dayanan bir öneri getiririm.
3. Hayır. Klein ve arkadaşlarının projesi, aynı çalışmanın içinde hem sağlam hem kırılgan bulgular olabildiğini gösterdi. Kemal Usta'nın yaptığı gibi hepsini reddetmek yerine, her bulgunun ayrı ayrı nasıl sınandığına bakarım.

Sonraki derse köprü

Deniz'in defterinde yeni bir sütun var ve şimdilik boş: "Kendi dükkânımda denendi mi?" Hiçbir dergi o sütunu onun yerine dolduramaz. Sıradaki ders kendi deneyini yapmak üzerine: iki yolu dürüstçe karşılaştırmak ve sonucu bir satış günlüğüne yazmak.