Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.
Birincisi. Kronometre bozuk değildir; yanlış soruya cevap verir. Ölçüm hedefe göre seçilir ve "ölçülemez" genellikle "doğru ölçü seçilmemiş" demektir.
İkincisi. On üç alan dört gruptur: algı, tutum, davranış ve üretim. Dördüncü grup izleyiciyi değil işin kendisini ölçer ve neredeyse hiç kullanılmaz.
Üçüncüsü. Nicel ölçüm sorunun varlığını, nitel ölçüm yerini gösterir. Tek sayıya dayanan hiçbir karar güvenilir değildir.
Dördüncüsü. Estetik ödül, iş sonucu ve kültürel etki üç ayrı başarı türüdür ve aynı anda gelmez. Hangisinin önemli olduğunu yazmayan kişinin kariyeri rastlantısal ilerler.
Beşincisi. Başlangıç durumu ölçülmediyse sonuç bir sayıdır, bilgi değildir. Ve geçmişe dönük ölçülemez.
Açılış sahnesi
Elinde bir kronometre var.
Bir koşucuyu ölçüyorsun. Mükemmel iş görüyor. Süre düşerse gelişme var, yükselirse yok.
Şimdi aynı kronometreyle bir dansçıyı ölç.
Kaç saniye sürdü?
Cevabı biliyorsun ve hiçbir işe yaramıyor. Dansın süresi hakkında bir şey söylemiyor.
Kronometre bozuk değil. Yanlış soruya cevap veriyor.
Ve bir işin ölçülemez olduğunu söylemek genellikle doğru değildir. Doğru olan şudur: henüz doğru ölçü seçilmemiştir.
Bugün kronometreyi bırakıp doğru aleti seçmeyi öğreneceğiz.
Bu derste ne olacak
Önce ölçümün neden tasarımın parçası olduğunu göreceğiz. Sonra on üç ölçüm alanını açacağız ve dört gruba ayıracağız. Ardından nicel ile nitelin nasıl birlikte çalıştığını konuşacağız — biri ne, diğeri neden. Sonra üç ayrı başarı türünü ayıracağız. En sonda ölçümün ne zaman kurulduğunu ele alıp on dört pratikten örneklerle bunu okuyacağız. Ders bittiğinde bir kampanya için dört ayrı ölçüt tanımlayabiliyor olacaksın.
Sıfır noktası
Kronometreye geri dönelim, çünkü bu benzetme ders boyunca bizimle kalacak.
Kaynak on üç ölçüm alanı sayıyor.
Tanınma. Hatırlama. Mesajın doğru anlaşılması. Duygusal tepki. Güven. Tercih. Etkileşim. Görev başarısı. Dönüşüm. İçerik tamamlama. Marka tutarlılığı. Üretim verimliliği. Erişilebilirlik başarısı.
Uzun bir liste. Dört gruba ayıralım.
Birinci grup algı ölçer: tanınma, hatırlama, mesajın doğru anlaşılması, duygusal tepki.
İkinci grup tutum ölçer: güven, tercih.
Üçüncü grup davranış ölçer: etkileşim, görev başarısı, dönüşüm, içerik tamamlama.
Dördüncü grup üretim ölçer: marka tutarlılığı, üretim verimliliği, erişilebilirlik başarısı.
Bu grup neredeyse hiç kullanılmaz ve sanat yönetmeni için en doğrudan geri bildirimi verir.
Marka tutarlılığı: yeni üretilen işler sisteme uyuyor mu?
Üretim verimliliği: aynı kaliteyi daha az sürede üretebiliyor muyuz?
Erişilebilirlik başarısı: eşikler tutuyor mu, görevler tamamlanabiliyor mu?
Bu üçü, bir önceki seviyede kurduğumuz sistemin işe yarayıp yaramadığını söyler. Ve bunları ölçmek için kimsenin iznine ihtiyacın yok — kendi ekibinde ölçersin.
Üçünü toplamak da basittir. Tutarlılık için son on işi kılavuza göre denetlersin ve uyanları sayarsın. Verimlilik için benzer iki işin üretim süresini karşılaştırırsın. Erişilebilirlik için eşikleri araçla ölçer, bir görevi de elle denersin.
Üç sayı, bir öğleden sonra çıkar. Ve çoğu ekip bunları hiç toplamaz.
Bu benzetme bir yere kadar doğru. Şurada bozulur: dansı ölçmek için kronometre yerine tek bir alet yok; birden çok gözlem gerekir. Yani senin işin doğru aleti seçmek değil, birkaç aleti birlikte kullanmak.
Mekanizma
Nicel ne söyler, nitel ne söyler
Kaynak bunu tek cümlede özetliyor.
İki ayrı iş ve ikisi birbirinin yerine geçmez.
Nicel ölçüm bir olayı sayar. Kaç kişi, kaç kez, ne kadar süre.
Nitel ölçüm bir sebebi arar. Neden durdu, ne anladı, ne hissetti.
Şimdi bunların birlikte nasıl çalıştığına bakalım.
Bir sayfada tamamlanma oranı düşük çıktı diyelim. Bu bir sayıdır ve bir sorun olduğunu söyler.
Ama nerede olduğunu söylemez.
Beş kişiyle yapılan bir görüşme ise şunu söyler: üçüncü adımdaki soruyu kimse anlamadı.
Ve tersi de doğrudur. Yalnız görüşmeye dayanan bir karar, beş kişinin görüşünü bütün kullanıcılara genellemek olur.
Bir önceki seviyede araştırma tasarlarken benzer bir denge kurmuştuk. Ölçüm, o dengenin sonuç tarafındaki hâli.
Yaygın yanlışBurada çok yaygın bir yanlış var: sayısal veri objektif, görüşme öznel.
İkisi de yorum gerektirir. Bir tıklama oranının yüksek olması iyi bir şey değildir — insanlar aradıklarını bulamadıkları için de çok tıklar. Sayı bir gerçek değil bir işarettir ve okunması gerekir.
Üç ayrı başarı türü
Kaynak bir ayrım daha yapıyor ve bu ayrım mesleki olgunluğun işaretidir.
Üç tür ve üçü de meşru.
Estetik ödül: meslektaşlar tarafından değerlendirilme. Yargıyı besler, kariyer açar, ekip çeker.
İş sonucu: müşterinin problemini çözme. Devam eden işi getirir.
Kültürel etki: bir işin sektörün ya da toplumun konuşmasına girmesi. En yavaş ve en uzun ömürlü olanı.
Ve şu çok önemli: bu üçü aynı anda ölçülmez ve aynı anda gelmez.
Bir iş ödül alır ve satmaz. Bir iş satar ve kimse konuşmaz. Bir iş yıllar sonra hatırlanır ve o gün kimse fark etmemiştir.
Ölçüm ne zaman kurulur
Ve dersin en pratik cümlesine geldik.
Üç şey sayıyor ve birincisi en çok atlanandır: başlangıç durumu.
Bir kampanyadan sonra tanınma yüzde kırk çıktı diyelim. İyi mi kötü mü?
Bilinmiyor. Çünkü kampanyadan önce kaçtı, kimse ölçmedi.
Ve bu ölçüm tasarım başlamadan yapılmalıdır — sonradan geriye dönük kurulamaz.
Bir önceki modülde kampanya yapısında ölçümü dokuzuncu halka olarak görmüştük ve şunu söylemiştik: cevap baştan yazılmazsa herkes kendi ölçütünü getirir. Burada aynı cümlenin ikinci yarısı var — ölçüt baştan yazılsa bile başlangıç durumu ölçülmediyse, ölçüt işe yaramaz.
Teoriyi bırakıp işlere bakalım.
Örneklerden okuma
Örnekleri üç grupta topladım. Önce izleyici tarafını ölçen pratikler. Sonra üretim tarafını ölçenler. En sonda ölçümün yanlış kurulduğu durumlar.
Usta katmanı
Az önce dördüncü grubun — üretim ölçümlerinin — neredeyse hiç kullanılmadığını söyledim. İşin aslı biraz daha ince: bu grup, sanat yönetmeninin kendi işini savunmasının en güçlü yoludur.
Bir kampanyanın satışa etkisini kanıtlamak zordur ve birçok değişken vardır. Ama bir sistem kurulduktan sonra üretim süresinin düştüğünü, istisna sayısının azaldığını ve erişilebilirlik eşiklerinin tutmaya başladığını göstermek kolaydır ve tartışılmaz. Bu üç sayı, bir tasarım yatırımının karşılığını doğrudan gösterir. Deneyimli sanat yönetmenleri bu ölçümleri sessizce toplar ve bütçe konuşmasında kullanır.
İkinci nüans başarı türleriyle ilgili. Üç türün hangisine yatırım yapacağın, kariyer aşamana göre değişir ve bu bilinçli bir karar olmalıdır. Erken dönemde estetik değerlendirme kapı açar; orta dönemde iş sonucu güven kurar; ileri dönemde kültürel etki kalıcılık sağlar. Üçünü aynı anda kovalamak mümkün değildir ve deneyenler genellikle hiçbirinde derinleşemez. Bir önceki modülde alan seçmeyi konuşmuştuk; başarı türü seçmek, onun kariyer tarafındaki karşılığı.
Üçüncüsü bir sınır durumu. Her iş ölçülmez ve ölçülmeye çalışılmamalıdır. Tek seferlik, küçük ölçekli ve düşük riskli işlerde ölçüm kurmak işten pahalıya gelir. Ayrıca bazı değerler — bir anma tasarımı, bir kültürel proje — sayıya indirildiğinde anlamını kaybeder. Ölçü şudur: bu ölçümün sonucu bir kararı değiştirecek mi? Değiştirmeyecekse ölçüm bir rapor süsüdür.
Dördüncüsü bir meslek pratiği. Brief'e ölçüm bölümü eklerken dört satır yaz: neyi ölçeceğiz, şu an kaç, hedef kaç, nasıl ölçeceğiz. Dört satır. Bu bölüm brief'te yoksa proje sonunda başarı tartışması bir zevk tartışmasına döner — ve o tartışmayı tasarımcı hiçbir zaman kazanmaz.
Yaygın hatalar ve yanlış bilinenler
Yaygın yanlışBirinci yaygın yanlış: yaratıcı iş ölçülemez.
Ölçülemeyen şey yoktur; yanlış ölçülen şey vardır. Bir kampanyanın duygusal etkisi satışla ölçülemez ama hatırlama ve çağrışımla ölçülebilir. "Ölçülemez" savunması, çoğu zaman doğru ölçütü aramaktan kaçınmanın kibar biçimidir.
Yaygın yanlışİkincisi: ölçüm yaratıcılığı kısıtlar.
Ölçüt tasarımı biçimlendirir ve bu bir kısıt değil bir yön bilgisidir. Kısıtlayan şey yanlış ölçüttür — özellikle tek bir sayıya indirgenmiş ölçütler. Bir önceki derste kısıtın çözümü belirlediğini konuşmuştuk; ölçüt de bir kısıttır ve doğru seçildiğinde aynı işi yapar.
Yaygın yanlışÜçüncüsü: sonuç iyi çıktıysa tasarım iyidir.
İkisi arasında bağ vardır ve doğrudan değildir. İyi bir sonuç, iyi bir ürün, iyi bir zamanlama ya da zayıf bir rakip yüzünden de gelebilir. Bir önceki derste başarısızlığın türünü belirlemeyi konuşmuştuk; başarının türünü belirlemek de aynı disiplini gerektirir.
Yaygın yanlışDördüncüsü: ölçüm pazarlamanın işidir.
Ölçüt tasarımı biçimlendirdiği için tasarımcının işidir. Ayrıca üretim tarafındaki üç ölçüm — tutarlılık, verimlilik, erişilebilirlik — tamamen sanat yönetmeninin alanındadır ve başka kimse ölçmez.
Uygulama — kendin dene
Bir kampanya seç. Bu seride çalıştığın işlerden biri olabilir.
Dört ayrı ölçüt tanımlayacaksın ve dördü farklı gruptan olacak.
Birincisi farkındalık: tanınma ya da hatırlama. Nasıl ölçeceksin?
İkincisi anlama: mesaj doğru anlaşılıyor mu? Hangi soruyu soracaksın?
Üçüncüsü davranış: ne yapmalarını istiyorsun ve nasıl sayacaksın?
Dördüncüsü üretim kalitesi: tutarlılık, verimlilik ya da erişilebilirlik.
Her ölçüt için dört satır yaz: neyi, şu an kaç, hedef kaç, nasıl.
Sonra üç test sorusu yaz. Bunlar izleyiciye sorulacak sorular olsun ve hiçbiri yönlendirici olmasın.
Son adım: dört ölçütten hangisini bugün ölçebilirsin? Yani başlangıç durumunu bugün alabilir misin?
Şuna dikkat et: kaç ölçütte "şu an kaç" satırını dolduramadın? Neredeyse her zaman ilk üçünde doldurulamaz ve dördüncüde doldurulur. Çünkü üretim ölçümleri senin elindedir, diğerleri değil. Kendi elindeki ölçümü kullanmadığını görmek, dersin sana bıraktığı asıl şey.
Kilit özet
Birincisi. Kronometre bozuk değildir; yanlış soruya cevap verir. Ölçüm hedefe göre seçilir ve "ölçülemez" genellikle "doğru ölçü seçilmemiş" demektir.
İkincisi. On üç alan dört gruptur: algı, tutum, davranış ve üretim. Dördüncü grup izleyiciyi değil işin kendisini ölçer ve neredeyse hiç kullanılmaz.
Üçüncüsü. Nicel ölçüm sorunun varlığını, nitel ölçüm yerini gösterir. Tek sayıya dayanan hiçbir karar güvenilir değildir.
Dördüncüsü. Estetik ödül, iş sonucu ve kültürel etki üç ayrı başarı türüdür ve aynı anda gelmez. Hangisinin önemli olduğunu yazmayan kişinin kariyeri rastlantısal ilerler.
Beşincisi. Başlangıç durumu ölçülmediyse sonuç bir sayıdır, bilgi değildir. Ve geçmişe dönük ölçülemez.
Sonraki derse köprü
Bu derste işin etkisini ölçtük.
Şimdi işin kendisini göstermeye geçiyoruz.
Ve orada yaygın bir yanlış var: portfolyo, güzel görsellerin sergisi sanılıyor.
Değil. Portfolyoya bakan kişi bir sonraki projede senin nasıl düşüneceğini merak ediyor. Bitmiş görseller bunu göstermez.
Peki süreç nasıl gösterilir? Yüzlerce eskiz yükleyerek mi?
Bir de zor bir soru: ekip işinde kendi katkını nasıl anlatırsın?
Sonraki derste portfolyo vaka çalışmasını göreceğiz.