Sonuç, Öğrenim ve Devam Kararı

Açılış sahnesi

Gaziantep'te baharat ve kuru biber satan bir sitenin büyüme ekibinin paylaşılan tablosunda, bir yılda yapılmış otuz deney var. Her satırın son sütununda tek bir kelime yazıyor: kazandı ya da kaybetti. On bir deney kazanmış, on dokuz deney kaybetmiş. Kazananlar yayılmış, kaybedenler kapatılmış.

Yeni gelen bir analist tabloyu okurken bir şey fark ediyor. Kaybeden deneylerin altısı aynı fikrin farklı biçimleriymiş: ürün sayfasında baharatın hangi yemeğe yakıştığını anlatmak. Her seferinde fikir biraz farklı bir yerde, biraz farklı bir cümleyle denenmiş ve her seferinde kaybetmiş. Ama hiçbir satırda, müşterilerin bu anlatımı okuyup okumadığı, okuyanların farklı davranıp davranmadığı yazmıyor. Kazanan on bir deneyin de hiçbirinde neden kazandığı yazılı değil.

Analist ekibe bir soru soruyor: bu bir yılda müşterilerimiz hakkında ne öğrendik? Toplantı odasında kimse cevap veremiyor. Otuz deney yapılmış, otuz karar verilmiş, ama bir öğrenme birikmemiş.

Bu derste ne olacak

Baharat sitesinin ekibi deneylerini doğru kurmuş, kaydını tutmuş, karar tablosuna uymuştu. Eksik olan, sonucun bir etiketten ibaret olmamasıydı. Birincil ölçütün yanında mekanizmanın ne yaptığına, etkinin kimde toplandığına, kazananın gerçekte ne kadar kazandırdığına ve bir sonraki deneyin bu sonuçtan nasıl doğacağına bakılmamıştı. Baharatçı da ders boyunca göreceğimiz diğer işletmeler de kurgu. Kaybeden deneylerin payı için bir hedef koymuyorum; deneylerin çoğunun kaybetmesi olağandır ve önemli olan kaybedenlerden ne öğrenildiğidir.

Önceki derste sonucu okumadan önce neyin sabitleneceğini konuştuk. Bu ders sonucun kendisini okuyor ve bu kursu kapatıyor: sonucu mekanizma ölçütüyle birlikte okumayı, etkinin gruplara göre nasıl değiştiğini görmeyi, kazanan bir deneyin gerçek etkisini abartmamayı ve bir sonuçtan bir sonraki deneyi türetmeyi.

Sıfır noktası

Müşteri ilişkileri biriminde bekletme grubunu ve kalıcı bekletme grubunu, reklam biriminde öğrenim kartını, kanıt gücünü, yaratıcı ilkeyi ve türetilmiş hipotezi, bu kursta da doğrulanmış öğrenmeyi, mekanizma ölçütünü, ayırt edici varyantı, güven aralığını, alt grup taramasını ve karar tablosunu kurduk.

Bir deneyin sonucu iki soruya cevap verir. Birincisi karar sorusudur: bu değişikliği yayalım mı, geri alalım mı? Karar tablosu bu soruyu önceden cevaplar. İkincisi öğrenme sorusudur: bu sonuç müşterilerimizin davranışı hakkında ne söylüyor ve bir sonraki fikrimizi nasıl değiştiriyor? Kazanan ya da kaybeden damgası ise yalnız ilkini karşılar. Reklam biriminde öğrenim kartını ve yaratıcı ilkeyi kurarken ikinci soruyu reklam yaratıcıları için sormuştuk; bu ders aynı soruyu bütün büyüme deneyleri için soruyor.

Mekanizma — sonucu mekanizmayla birlikte okumak

Bir deneyin sonucunu yalnız birincil ölçütle okumak, iki ayrı olasılığı birbirinden ayıramaz: değişiklik hipotezin öne sürdüğü yoldan mı işe yaradı, yoksa başka bir yoldan mı? Kaybeden bir deneyde de aynı belirsizlik vardır: fikir mi yanlıştı, yoksa uygulama mı zayıftı?

Kazanan deney de mekanizmayla okunmalı.

Mekanizma çalışıyor ama yetmiyor.

İkisi de kıpırdamadıysa, değişiklik zayıftır.

Mekanizma — etki herkeste aynı değil

Bir deneyin ortalama etkisi, bazı gruplarda büyük, bazılarında sıfır ya da ters bir etkinin toplamı olabilir. Önceki derste, önceden yazılmamış alt gruplarda bulunan farkların tesadüf olabileceğini gördük. Önceden yazılmış alt gruplarda ise etkinin nasıl dağıldığını görmek, değişikliği kime ve nasıl yayacağımızı belirler.

Ters yönde etki, ortalamada kayboluyor.

Farklılaşma, mekanizmayı gösteriyor.

Mekanizma — kazananın gerçek etkisi

Bir deney kazandığında, ölçülen etki çoğu zaman gerçek etkiden büyüktür. Bunun nedeni basittir: kazanan deneyler, gerçek etkinin üstüne tesadüfen bir miktar şans eklenmiş olanlardan seçilir. Yayıldıktan sonra değişikliğin etkisi, deneyde görülenden küçük çıkar.

Yayından sonra küçük bir kontrol grubu.

Tekrar, kazancın gerçekliğini sınıyor.

Usta katmanı — bir sonuçtan bir sonraki deneye

Bir deneyin en değerli çıktısı, çoğu zaman bir sonraki deneydir. Mekanizma okuması, etki farklılaşması ve kazancın gerçek büyüklüğü birlikte okunduğunda, ekip bir fikri bırakmak, güçlendirmek, başka gruplara taşımak ya da mekanizmasını daha iyi ayırmak arasında seçim yapabilir.

Birkaç turda tetiklenmeyen fikir bırakılıyor.

Tur, başarılı fikri de derinleştiriyor.

Öğrenmeler, bir ilkeye dönüşüyor.

Olumsuz sonuç da bir sonraki turu yönlendiriyor.

Yaygın hatalar

Aklında kalsın

Bir deneyin sonucu iki soruya cevap verir: karar ve öğrenme. Tek kelimelik bir damga yalnız ilkini cevaplar.

Mekanizma okuması, birincil ölçüt ile mekanizma ölçütünün birlikte hareketini dört duruma yerleştirir. Kaybeden bir deneyi bile bir öğrenmeye çevirir.

Etki farklılaşması, önceden yazılmış gruplarda etkinin farklı büyüklükte ya da yönde çıkmasıdır. Değişikliği kime ve nasıl yayacağımızı belirler ve mekanizmaya dair ipucu verir.

Kazanan yanılgısı, seçilen kazananların ölçülen etkisinin gerçek etkiden büyük olmasıdır. Kazanç güven aralığının alt ucuyla hesaplanır, önemli sonuçlar tekrarlanır ve yayından sonra küçük bir kontrol grubuyla izlenir.

Geliştirme turu, bir sonucun bir sonraki deneyi doğrudan belirlemesidir. Her deney kaydı, bir sonraki turun hipoteziyle biter; birkaç turda tetiklenmeyen fikir bırakılır.

Sonraki derse köprü

Bu dersle deney tasarımı ve öğrenme sistemi kursunu kapattık. Bu kurs boyunca kavurma evi bir fikri önce-sonra karşılaştırmasından kontrollü bir deneye taşıdı, hipotezini güçlendirdi, deneyinin kusurlarını ayıkladı, örneklemini ve süresini hesapladı, kararlarını önceden yazdı ve sonucu mekanizmasıyla okudu. Öğütülmüş çekirdek seçeneği yayıldı ve geliştirme turu bir sonraki fikri havuzun başına koydu.

Ama bütün bu deneyler bir oranı iyileştirmeye yönelikti: ilk kutuyu tüketme oranı, dönüşüm oranı, iptal oranı. Bir oranı artırmak, müşteriye her zaman iyi bir şey olduğu anlamına gelmez. Bir ödeme sayfasını daha ikna edici yapmak, iade oranını artırabilir; bir iptal sayfasını daha zor yapmak, müşterinin güvenini azaltabilir. Kısa vadeli bir oran artışının, müşterinin gerçekten aldığı sonuçla ve işin uzun vadeli kalitesiyle birlikte değerlendirilmesi gerekiyor.

Sıradaki kurs dönüşüm optimizasyonuna ve kullanıcı deneyimine açılıyor; ilk dersi, dönüşümü müşteri değeriyle birlikte okumayı, yani kısa vadeli bir oran artışını müşterinin gerçek sonucu ve işin kalitesiyle yan yana tartmayı ele alıyor.