Deneysel Düşünme

Açılış sahnesi

Adana'da bir paket yemek uygulamasının ürün ekibi, ekim başında uygulamanın açılış ekranını yeniliyor: restoranlar artık mahalleye göre değil, teslim süresine göre sıralanıyor. Ekim sonunda siparişler bir önceki aya göre belirgin biçimde artmış. Ekip sonucu şirket toplantısında sunuyor, yeni sıralama bütün şehirlere yayılıyor ve ürün müdürü bir ödül alıyor.

Kasımda başka bir ekip aynı döneme ait verileri başka bir soru için açıyor. Ekim ayında şehirde yağmurlu günlerin olağandan çok daha fazla olduğunu, üniversitelerin açılmasıyla öğrenci siparişlerinin arttığını ve rakip bir uygulamanın birkaç semtte hizmeti durdurduğunu görüyor. Siparişlerin artması için en az dört neden var; yeni sıralama bunlardan yalnız biri.

Ürün müdürü, yeni sıralamanın işe yaradığından hâlâ emin. Belki de yaradı. Ama ekibin elinde bunu gösteren bir kanıt yok; elinde yalnız bir değişiklik ve ardından gelen bir artış var.

Bu derste ne olacak

Paket yemek ekibi bir fikri yayına aldı ve ardından sayılara baktı; bunu bir deney sandı. Oysa yaptığı şey bir gözlemdi: değişiklik ile sonuç arasında aynı anda değişen başka her şey de duruyordu ve bunları ayıracak bir karşılaştırma yoktu. Uygulama da bu dersteki öteki işletmeler de gerçek değil, kurgulandı. Hangi durumda bir deneyin ne kadar süreceği ya da kaç kullanıcıyla yapılacağı için rakam vermiyorum; bunlar bu kursun ilerleyen derslerinin konusu.

Önceki kursta bir büyüme yol haritası kurduk ve yol haritasının başına bir fikir koyduk. Bu kurs o fikri nasıl sınayacağımızı konu alıyor. İlk ders, birbirine çok yakın görünen dört işi ayırıyor: bir fikri yayına almak, bir değişiklikten sonra sayılara bakmak, kontrollü bir deney kurmak ve bir deneyden kalıcı bir öğrenme çıkarmak. Ayrıca her fikrin deneye ihtiyacı olmadığını ve hangi kararların doğrudan verilebileceğini konuşacağız.

Sıfır noktası

Araştırma biriminde gözlem araştırmasını ve pilot testi, reklam biriminde karşı olgusal durumu ve kitle bölme deneyini, CRM derslerinde değiştirilemeyen deney belgesini, yani deney kaydını, e-ticaret biriminde birincil ölçütü ve test çakışmasını, önceki kursta da büyüme hipotezini, öğrenme hızını ve büyüme ritmini kurduk.

Bir fikir, bir tahmindir: bir değişikliğin bir davranışı değiştireceği tahmini. Bir test, o tahmini sınamak için yapılan bir düzenlemedir. Bir gözlem, dünyada olan bir şeyin kaydıdır. Bir öğrenme ise sınamanın sonucunda neyin doğru, neyin yanlış olduğunu ve bunun bir sonraki kararı nasıl değiştirdiğini söyleyen bir bilgidir. Bu dördü birbirine karıştığında, bir ekip her değişiklikten sonra bir şey öğrendiğini sanır, ama çoğu zaman yalnız bir hikâye anlatır. Deneysel düşünme, bir değişikliğin etkisini, o değişiklik olmasaydı ne olacağıyla karşılaştırmadan iddia etmemektir.

Mekanizma — önce ve sonra neden yetmez

Bir işletmenin bir değişikliği denemesinin en kolay yolu, değişikliği yapmak ve önceki dönemle sonraki dönemi karşılaştırmaktır. Bu yöntem kolaydır ve bazen doğru sonucu verir; ama ne zaman doğru, ne zaman yanlış sonuç verdiğini kendi içinde gösteremez.

Mevsim, en sık karışan etken.

Aynı anda iki değişiklik, ayrılamıyor.

Düşüş de yanlış yorumlanabiliyor.

Mekanizma — karşılaştırmayı aynı anda kurmak

Önce-sonra karşılaştırmasının zayıflığı, iki dönemin birbirine benzememesidir. Bu zayıflığı gidermenin yolu, karşılaştırılan iki grubu aynı döneme koymak ve iki grup arasındaki tek farkın denenen değişiklik olmasını sağlamaktır.

Rastgele olmayan bölme, yeni bir fark yaratıyor.

Kontrol grubu, değişmeyen bir durum değil.

Bazı değişiklikler kullanıcıya göre bölünemiyor.

Mekanizma — bir sonuçtan bir öğrenmeye

Bir deney bittiğinde elde bir sonuç vardır: bir grup öbüründen daha iyi, daha kötü ya da aynı sonuç vermiştir. Ama sonuç, kendi başına bir öğrenme değildir. Öğrenme, sonucun neden böyle çıktığını, hangi varsayımı doğruladığını ya da çürüttüğünü ve bir sonraki kararı nasıl değiştirdiğini söyler.

Sonuç ile açıklama ayrı.

Öğrenme, bir sonraki kararı değiştirmeli.

Usta katmanı — her fikir bir deney istemez

Deneysel düşünme, her değişikliği deneye sokmak demek değildir. Deney zaman, trafik ve emek ister; bazı fikirler için bu bedel, fikri doğrudan uygulayıp gerekirse geri almaktan daha pahalıdır. Hangi kararların deney gerektirdiğini ayırmak, deneysel düşünmenin bir parçasıdır.

Geri alınması zor karar, sınanmadan uygulanmamalı.

Geri alınabilirlik, trafiğe de bağlı.

Deney, bir tartışmayı bitirmek için de kurulabiliyor.

Yaygın hatalar

Aklında kalsın

Fikir bir tahmin, test bir sınama düzenlemesi, gözlem dünyada olanın kaydı, öğrenme ise sınamadan çıkan ve bir kararı değiştiren bilgidir. Dördü karıştırıldığında her değişiklik bir hikâyeye dönüşür.

Önce-sonra karşılaştırması, değişikliğin etkisini aynı dönemde değişen her şeyle birlikte ölçer. İlk bir işaret verebilir, ama kanıt vermez.

Kontrollü deney, grupları aynı dönemde rastgele ayırır ve yalnız birine değişikliği uygular. Kontrol grubu, değişiklik olmasaydı ne olacağını gösterir.

Doğrulanmış öğrenme, deneyden çıkan, hangi varsayımın doğrulandığını ya da çürütüldüğünü ve bir sonraki kararı nasıl değiştirdiğini söyleyen bilgidir. Farksız sonuç da öğretebilir.

Geri alınabilir karar, düşük maliyetle eski hâline döndürülebilen karardır ve çoğu zaman deney beklemez. Geri alınması zor kararlar, uygulanmadan önce sınanır.

Sonraki derse köprü

Bu derste bir fikri sınamanın ne demek olduğunu ayırdık: önce-sonra karşılaştırması, kontrollü deney, doğrulanmış öğrenme ve geri alınabilir karar. Kök Kahve, öğütülmüş kahve seçeneğini yeni abonelerin rastgele yarısına gösterecek bir deney kurmaya karar verdi.

Ama deneyi kurmadan önce, neyi sınadığını tam olarak söylemesi gerekiyor. Öğütülmüş kahve seçeneği hangi abonelerin hangi davranışını değiştirecek? Bu değişiklik neden gerçekleşecek: ekipmanı olmayan abonenin önündeki engel kalktığı için mi, yoksa seçenek markayı daha anlayışlı gösterdiği için mi? Ve ne kadar bir etki bekleniyor? Hipotez bu sorulara açıkça cevap vermediğinde, deneyin sonucu da neyi öğrettiğini açıkça söyleyemiyor.

Sıradaki ders güçlü bir hipotezin nasıl yazılacağını ele alıyor: değişikliği, hedef davranışı, mekanizmayı ve beklenen etkiyi açıkça tanımlamayı orada çalışacağız.