Deney türleri

Açılış

İzmir, salı akşamı, Mert'in odası. Ekranda yarım kalmış bir uygulama; giriş sayfası, salon listesi ve bir "İptali duyur" düğmesi. Mert üç haftadır her akşam ona çalışıyor.

"İki hafta daha," diyor. "Bildirimleri bağlayayım, Saadet Hanım'ın salonunda deneriz."

Ayça bilgisayarın yanına bir telefon koyuyor. "Ya yarın denesek?"

Mert gülüyor. "Uygulama yok ki."

"Uygulama yok. Ama Saadet Hanım'ın bekleme listesi var, benim telefonum var. İptal olunca teyzem beni arar, ben listedeki herkese mesaj atarım. İki hafta. Saat dolarsa dolar, dolmazsa dolmaz."

Mert ekrana, sonra telefona bakıyor. Üç haftalık emeğin, bir telefonun ve bir mesaj listesinin yapabileceği işi yapıp yapmadığını hiç sormamış.

"Ben yine de yazmaya devam edeyim," diyor sonunda. "Sen de yarın başla. Hangisi önce cevap verir, görürüz."

Tek fikir

Aynı varsayım farklı bedellerle sınanabilir: bir sayfayla, bir ön siparişle, hizmeti elle yürüterek, arkası elle çalışan bir ürünle ya da var olmayan bir düğmeyle. Doğru deney, sınanacak soruya cevap veren, güçlü bir davranış ölçen ve bunu en az bedelle yapan deneydir.

Kavram

Bir deney seçmeden önce üç şey bellidir: sınanacak varsayım, önceden yazılmış eşik ve neyin sayılacağı. Bundan sonra soru şudur: bu sayıyı en az bedelle ve en güvenilir biçimde hangi düzenek üretir? Erken aşamadaki girişimlerin en sık kullandığı beş düzenek var ve her biri farklı bir soruya iyi cevap verir.

Açılış sayfası, henüz var olmayan bir ürünü ya da hizmeti tarif eden ve ziyaretçiden bir adım isteyen tek bir sayfadır: e-posta bırakmak, bir forma yazılmak, bekleme listesine girmek. Talebi, yani insanların bu tarife ilgi gösterip göstermediğini, ucuza ve hızlı ölçer. Zayıf yanı, ölçtüğü davranışın hafif olmasıdır: bir e-posta adresi bırakmak, bir şey satın almak değildir. Sayfaya gelen ziyaretçinin nereden geldiği de sonucu belirler; tanıdıkların gönderdiği trafik, yabancıların gösterdiği ilgiyi ölçmez.

Duman testi, açılış sayfasının ya da var olan bir ürünün içine yerleştirilmiş bir "sahte kapı"dır: henüz olmayan bir özellik ya da ürün için bir düğme, bir fiyat, bir "satın al" bağlantısı. Kullanıcı düğmeye bastığında ürünün henüz hazır olmadığını öğrenir. Ölçtüğü şey, insanların bir fiyatı gördükten sonra bile bir adım atıp atmadığıdır; açılış sayfasından daha güçlü bir sinyaldir. Ama kullanıcıya hayal kırıklığı yaşatır ve bunun nasıl telafi edileceği önceden düşünülmelidir.

Ön sipariş, ürün henüz yokken parasının, ya da iade edilebilir bir kaporanın, alınmasıdır. Ölçtüğü davranış en güçlüsüdür: para. Ödeme varsayımını sınamanın en doğrudan yoludur. Bedeli, teslim edilemeyen bir ürün için alınmış paranın geri ödenmesi ve güvenin korunmasıdır; ne zaman ve nasıl iade edileceği deney başlamadan yazılır.

Beş düzenek arasında seçim yapmak için dört soru sorulur. Birincisi, hangi soru sınanıyor? Talep mi, yani insanlar bunu istiyor mu; ödeme mi, yani bunun için para verirler mi; çözüm mü, yani bu iş gerçekten onların derdini çözüyor mu? Açılış sayfası talebi, ön sipariş ödemeyi, elle yürütülen hizmet çözümü en iyi ölçer. İkincisi, ölçülen davranış ne kadar güçlü? Varsayım haritasındaki sıralama burada da işler: bir e-posta bir sözden biraz güçlüdür; bir kapora ise bir davranıştan güçlüdür. Üçüncüsü, bedeli ne? Para, zaman ve güven. Elle yürütülen bir hizmet birkaç hafta kurucunun bütün akşamlarını alabilir; bir duman testi kısa sürer ama birkaç müşteride hayal kırıklığı bırakabilir. Dördüncüsü, sonuç ne kadar sürede gelir? Bir açılış sayfası birkaç gün içinde sayı verir; ön sipariş ve elle yürütülen hizmet haftalar sürebilir.

Bu dört sorunun ortak bir dersi var: kurucular deneyi çoğu zaman bildikleri ya da sevdikleri araca göre seçer. Yazılım bilen biri bir uygulama yazmaya, tasarım bilen biri bir sayfa hazırlamaya yönelir. Oysa deney, sınanacak sorudan ve eşiğin istediği davranıştan seçilir. Bir ödeme varsayımını açılış sayfasıyla sınamak, en zayıf davranışla en güçlü soruya cevap aramaktır.

Vaka işletmelerinde

İki vakada da seçilen deney, kurucunun en iyi bildiği araca değil, sınanacak soruya göre seçildi; ve ikisinde de deney, ürün hazır olmadan başladı.

Ne biliyoruz

Bu deney türleri, büyük ölçüde uygulayıcıların geliştirdiği ve paylaştığı yöntemler. Akademik çalışmalar daha çok bu yöntemlerin genel yaklaşımını, yani girişimcinin hipotez kurup sınamasını inceliyor.

Kitabın "memnuniyet değil, davranışsal bağlılık" vurgusu, 7.1'deki kanıt gücüyle aynı yönü gösteriyor. Hangi deney seçilirse seçilsin, sayılacak şey bir davranış ya da bir ödeme olmalı; deney türü yalnızca o davranışı hangi bedelle görünür kılacağımızı belirliyor.

Yaygın hatalar

Girişim Defteri

En riskli varsayımın için iki farklı deney tasarlayacak, dört soruyla karşılaştıracak ve birini seçeceksin.

Defter: Tarihli iki deney tasarımı, dört sorulu karşılaştırma, seçilen deney ve gerekçesi, varsa açıklama ve iade satırı.

Özet

1. Aynı varsayım farklı deney türleriyle, farklı bedellerle sınanabilir: açılış sayfası, duman testi, ön sipariş, elle yürütülen hizmet ve Sihirbaz Oz testi.
2. Açılış sayfası talebi, ön sipariş ödemeyi, elle yürütülen hizmet çözümü en iyi ölçer; Sihirbaz Oz testi ise ürün belliyken gerçekçi davranışı ölçer.
3. Deney dört soruyla seçilir: hangi soru, ne kadar güçlü bir davranış, hangi bedel, ne kadar sürede sonuç.
4. Deney kurucunun sevdiği araca göre değil, sınanacak soruya göre seçilir; müşteriden bilgi saklayan ya da para alan bir deneyin açıklaması ve iadesi önceden yazılır.

Kendini sına

1. Ayça'nın deneyi neden bir elle yürütülen hizmetti ve Mert'in uygulamasına ne kazandırdı?
2. Berivan isot sorusu için neden duman testi yerine ön siparişi seçti?
3. Bir açılış sayfasına bırakılan iki yüz e-posta neden bir ödeme varsayımını doğrulamaz?

Yanıtlar

1. Çünkü Saadet Hanım ve listedeki kadınlar mesajları bir insanın, Ayça'nın, attığını biliyordu; iş elle ve açıkça yapılıyordu. Deney, iptal duyurusunun gerçekten boş saati doldurup doldurmadığını uygulama hazır olmadan ölçtü: dokuz iptalin dördü doldu. Ayrıca kadınların mesaja en çok öğle arasında cevap verdiğini gösterdi; bu bilgi Mert'in uygulamasının bildirim saatini ve en sade biçimini belirledi.
2. Formda bir kutu işaretlemek kimseye bir şeye mal olmuyordu; birkaç aile meraktan işaretleyebilir ve sonuç talebi olduğundan büyük gösterebilirdi. Ön siparişte aileler parayı önceden gönderiyordu; bu, eşiğin istediği en güçlü davranıştı. Berivan iadeyi de deney başlamadan forma yazdı.
3. Çünkü e-posta bırakmak bir ilgi işaretidir, bir ödeme değil; kişiye neredeyse hiçbir şeye mal olmaz. Açılış sayfası talebi ölçer; ödeme varsayımı ancak ön sipariş, kapora ya da gerçek bir satış gibi para içeren bir davranışla sınanır.

Sonraki derse köprü

Ayça'nın deneyinde dokuz iptalin dördü doldu; Oğuzhan'ın ilk sekiz ödeyeninden ikisi kapora bıraktı. İkisi de bir oran gibi görünüyor: yüzde kırk dört, yüzde yirmi beş. Ama dokuz ve sekiz kişilik bir sonucun ne kadar sağlam olduğunu kimse sormadı. Sonraki ders küçük örnek, büyük yorum üzerine: sekiz kişilik bir deneyden çıkan "yüzde 50" gibi bir sonucun neden kırılgan olduğunu ele alıyor.