Ölçüm neden önce gelir

Açılış sahnesi

Maslak, pazartesi sabahı on bir. Pergel Medya'nın toplantı odasında Sinan, Lâl Çay'ın sonbahar kampanyasının kapanış raporunu sunuyor. Ekranda on dört gösterge sıralanmış: erişim, sıklık, sitedeki ziyaret, sosyal medyada takipçi, video izlenme oranı, yardımlı ve yardımsız hatırlama, beğeni, satın alma niyeti, raftaki görünürlük, satış, pazar payı ve iki tane daha. On dördünden üçü belirgin biçimde yükselmiş; raporun ilk sayfası bu üçünü kocaman puntolarla gösteriyor.

Murat Bey memnun. «Takipçi yüzde kırk artmış, video izlenme oranı sektör ortalamasının üstünde, hatırlama da yükselmiş. Güzel bir iş.»

Defne Hanım ekrandan gözünü ayırmıyor. Kalan on bir göstergeye bakıyor; satış ve pazar payı yerinde sayıyor. Sonra sakin bir sesle soruyor: «Sinan, kampanyadan önce bu on dört göstergeden hangisinin artmasını bekliyorduk?»

Odada sessizlik oluyor. Sinan dosyalarını karıştırıyor. Kampanyadan önce yazılmış bir hedef sayfası yok; brifte «bilinirliği artırmak» diye tek bir cümle var. Hangi göstergenin başarı sayılacağına kimse yayından önce karar vermemiş.

Bu derste ne olacak

Bu ders reklam etkinliği ölçümünün en basit ama en sık atlanan kuralını ele alıyor: neyi ölçeceğine kampanyadan önce karar vermek. Kampanya bittikten sonra seçilen bir göstergenin neden yanıltıcı olduğunu, birçok gösterge arasından iyi görünenleri seçmenin istatistikte nasıl sahte bir başarı ürettiğini ve reklamı görenlerle görmeyenleri karşılaştırmanın neden çoğu zaman yanlış bir tablo çizdiğini göreceksin. Sonra Lâl Çay'ın bir sonraki kampanyası için yayından önce yazılmış bir ölçüm planının neye benzediğine bakacağız. Kampanyalara ölçüm açısından ilk bakış Reklamcılığa Giriş Akademisi'nin dördüncü modülünde; burada o bakışın ilk ve en önemli adımını derinleştiriyoruz.

Kanıt ne diyor

Sinan'ın raporundaki sorunun adı psikoloji araştırmasında konmuş. Bir grup araştırmacı, bir çalışmayı yürütenin veriyi toplarken ve analiz ederken sahip olduğu küçük esnekliklerin sonuçları nasıl çarpıttığını bilgisayar benzetimleriyle ölçtü.

Sinan'ın on dört göstergesi tam olarak bu esnekliğin reklamdaki karşılığı. Göstergelerin çoğu kampanyadan bağımsız olarak her ay biraz iner biraz çıkar; on dört gösterge arasında birkaçının rastlantıyla yükselmesi şaşırtıcı değil. Hangisinin yükselmesini beklediğini önceden yazmamışsan, yükselen her göstergeyi başarı olarak sunabilirsin ve bu sunum yanlış olabilir.

Reklam ölçümünün ikinci zorluğu ise ölçmenin kendisinin pahalılığı. Dijital reklamda büyük saha deneyleri yapan iki ekonomist bu zorluğu sayılarla gösterdi.

Sahada

Sonradan seçilen gösterge

Görenler ile görmeyenler

Yayından önce bir sayfa

Gri alan

Ölçüm planını önceden yazmak herkesin onayladığı bir ilke, ama uygulamada bazı sorular cevapsız. Hangi göstergenin ana gösterge seçileceği bir yargı meselesi ve yanlış seçilirse plan da yanlış bir şeyi ölçer. Kampanya sırasında beklenmedik ama önemli bir şey olursa, örneğin bir rakip fiyat kırarsa, planı değiştirmek ne zaman meşru, ne zaman sonradan gösterge seçmenin bir kılıfı? Buna dair kesin bir çizgi yok; en dürüst yol, değişikliği gerekçesiyle birlikte yazmak ve asıl planın sonuçlarını da raporlamak. Bu dersin dayandığı çalışmalardan biri psikoloji deneyleri üzerine, öteki ABD'de büyük dijital reklamverenlerle yapılmış deneyler üzerine; ikisinin de bir mahalle fırınına ya da bir derneğe nasıl uyarlanacağı yorum ister. Rastgele kontrollü deney güvenilir bir karşılaştırma sunar, ama küçük bir reklamveren için her zaman mümkün değil; o durumda en azından başlangıç ölçümü ve bir karşılaştırma bölgesi kullanmak mümkün. Büyük bir bütçenin değerlendirmesi bu ölçüme dayanacaksa, deney tasarımı konusunda deneyimli bir araştırmacıyla çalışmak gerekir.

Senin işinde

Bir kampanyanın brifi yazılırken ölçüm planını da yaz; kampanya bittikten sonra değil. Planda dört şeyin cevabı olsun: başarı sayılacak ana gösterge ve onun eşiği, yanında izlenecek birkaç ara gösterge, kampanya öncesi başlangıç ölçümünün ne zaman alınacağı ve sonuçların neyle karşılaştırılacağı. Ajansta çalışıyorsan, raporun ilk sayfasının kampanyadan önce yazılmış hedefle başlamasını sağla; yükselen ama hedefte olmayan göstergeleri «beklenmedik bulgular» diye ayrı bir başlıkta sun, başarı diye değil. Reklamveren tarafındaysan, Defne Hanım'ın sorusunu her kapanış raporunda sor: kampanyadan önce neyi bekliyorduk? Dijital panellerin sunduğu «reklamı görenler daha çok aldı» türünden karşılaştırmalara kuşkuyla bak ve reklamı kimlerin gördüğünü sor. Bütçen bir mahalle dükkânının ya da bir derneğin bütçesi kadarsa, kampanya başlamadan bir hafta önce saydığın tek bir sayı, kampanyadan sonra saydığın yirmi sayıdan daha çok şey öğretir.

Kendin dene

Aklında kalsın

Neyi ölçeceğine kampanyadan önce karar vermelisin; sonradan seçilen bir gösterge kampanyanın değil rastlantının hikâyesini anlatıyor olabilir. Birçok gösterge arasından iyi görünenleri seçmek, gerçekte hiçbir etki yokken bile başarı bulmayı olası hale getirir. Reklamı görenler ile görmeyenler baştan farklı olduğu için onları karşılaştırmak çoğu zaman yanıltır; reklamın getirisini ölçmek sanıldığından çok daha zordur. Yayından önce yazılmış tek sayfalık bir ölçüm planı, ana göstergeyi, başlangıç ölçümünü, dönemi ve karşılaştırma noktasını belirler.

Sonraki derse köprü

Bu derste ölçüm planının yayından önce yazılması gerektiğini gördün; Sinan'ın on dört göstergesi ise bir başka soruyu açık bıraktı: bu göstergelerin hepsi aynı türden mi? M01-D02, Üç kat gösterge, iş sonuçlarını, iletişim etkilerini ve medya çıktılarını birbirinden ayırıyor ve bir ölçüm planında her katın nerede durduğunu gösteriyor.

Kendini sına

Soru 1 · Kavram

Ölçüm planının yayından önce yazılmasının en önemli nedeni nedir?

• A) Reklamverenin bütçeyi daha erken onaylamasını sağlamak.
• B) Başarı sayılacak göstergeyi önceden seçerek, kampanya bittikten sonra iyi görünen göstergeleri seçme hatasını önlemek ve bir başlangıç ölçümü alabilmek.
• C) Kampanyanın yaratıcı fikrini ölçüm ekibine onaylatmak ve fikri buna göre değiştirmek.
• D) Medya ajansının daha uygun yayın fiyatları alabilmesi için zaman kazanmak.

Cevap: B. Önceden seçilmiş bir gösterge, kampanyanın neyi başarması gerektiğini sabitler; ayrıca kampanya başlamadan alınan başlangıç ölçümü, sonradan gelen sayıların karşılaştırılacağı noktayı verir.

Soru 2 · Tuzak

Bir dijital reklam paneli, reklamı görenlerin görmeyenlere göre üç kat daha fazla satın aldığını gösteriyor. Bu sonucu reklamın etkisi olarak yorumlamanın en büyük sorunu nedir?

• A) Üç kat çok küçük bir farktır, reklam etkisi için en az on kat gerekir.
• B) Dijital paneller her zaman yanlış sayı verir.
• C) Reklam satın almaya zaten yatkın kişilere gösterildiği için, fark reklamdan değil iki grubun baştan farklı olmasından kaynaklanabilir.
• D) Reklamı görmeyenlerin hiç satın almamış olması gerekir; bir kişi bile satın aldıysa sonuç geçersizdir.

Cevap: C. Bu seçim yanlılığıdır. Reklam hedeflenerek gösterildiği için görenler ile görmeyenler baştan farklıdır; güvenilir karşılaştırma, kimin reklamı göreceğinin rastgele belirlendiği bir deneyle kurulabilir.

Soru 3 · Senaryo

Bir belediye kampanyasının hedefi üç ayda belirli sayıda başvuruydu; ikinci ayda başvurular düşük kalınca yönetim kampanyanın amacının aslında «farkındalık» olduğunu açıklıyor. Ölçüm açısından en doğru değerlendirme hangisidir?

• A) Hedefin kampanya ortasında değiştirilmesi sonradan gösterge seçmenin bir biçimidir; başvuru sonuçları raporlanmalı, farkındalık ayrı bir bulgu olarak sunulmalıdır.
• B) Doğru bir karardır; farkındalık her zaman başvurudan daha önemli bir hedeftir.
• C) Hedef değiştiği için kampanya tamamen başarılı sayılmalıdır.
• D) Kampanya durdurulmalı ve hiçbir sonuç raporlanmamalıdır.

Cevap: A. Kampanya başvuru hedefiyle kurulmuştu; hedefi sonradan değiştirmek başarısızlığı başarı gibi gösterebilir. Farkındalık gerçekten artmış olabilir, ama asıl hedefin sonucu da dürüstçe raporlanmalıdır.

Soru 4 · Uygulama

Bir çevre derneği sahildeki şişe sayısını azaltmayı hedefleyen bir kampanya başlatıyor. Ölçüm planının en kolay unutulan ama en kritik parçası hangisidir?

• A) Kampanya bittikten bir yıl sonra yapılacak bir anket.
• B) Kampanyanın sosyal medyada kaç kez paylaşıldığının sayılması.
• C) Kampanyanın yaratıcı ekibinin kaç fikir ürettiğinin kaydı.
• D) Kampanya başlamadan önce aynı sahilde yapılacak bir başlangıç sayımı.

Cevap: D. Başlangıç ölçümü olmadan kampanya sonrasındaki sayının neyle karşılaştırılacağı belli olmaz; kampanyanın etkisini mevsimsel değişimlerden ayırmak imkânsızlaşır.