Verimlilik ne kadar

Açılış sahnesi

İstanbul, Levent, çarşamba sabahı. Ardıç Danışmanlık'ın toplantı odasında bir yazılım firmasının satış ekibi denetim raporları için geliştirdikleri bir yapay zekâ aracını tanıtıyor. Sunumun üçüncü sayfasında büyük harflerle bir cümle var: «Ekipleriniz yüzde kırk daha verimli.» Satış müdürü gülümsüyor: «Bu sayı araştırmalardan geliyor.»

Kıdemli denetim ortağı Nevzat Bey, otuz yıldır başkalarının rakamlarını denetleyerek geçimini sağlamış biri. Kalemini bırakıyor ve dört soru soruyor: «Hangi araştırma? Hangi işte? Neyi ölçtünüz, süreyi mi, kaliteyi mi? Ve bizim gibi denetçiler üzerinde mi, yoksa başka bir işte mi?» Satış müdürü bir sonraki sayfaya geçmek istiyor. Nevzat Bey sayfayı geri çeviriyor. Bu ders, aracın işi ne kadar hızlandırdığını ölçen çalışmaları okumayı ve bir verimlilik iddiasını sorgulamayı anlatıyor.

Bu derste ne olacak

Yapay zekâ üzerine konuşmaların neredeyse hepsinde bir yüzde dolaşır. Bu yüzdelerin bir kısmı gerçek çalışmalardan gelir, bir kısmı bir satış sunumundan, bir kısmı da bir çalışmanın yanlış hatırlanmış bir cümlesinden. Önce iyi tasarlanmış iki çalışmayı okuyacağız: biri yazma görevlerinde yapılmış rastgele atamalı bir deney, öteki gerçek bir müşteri destek merkezinde aylar süren bir saha çalışması. Sonra bir verimlilik iddiasını okurken sorulacak soruları ve ölçülmeyen şeyleri sahadan örneklerle göreceğiz. Bir önceki dersteki görev haritasının yeşil ve sarı satırları, bu soruların uygulanacağı yer.

Kural ne diyor

Verimlilik iddiasını düzenleyen bir kanun yok; ama iki çalışma, iddianın nasıl ölçülmesi gerektiğini gösteriyor.

İki kartın sayıları farklı ve bu çelişki değil. Biri kısa yazma görevlerinde süreyi ve kaliteyi ölçtü; öteki aylar boyunca gerçek bir işte saatte çözülen talebi. Bir önceki derste okuduğumuz ve bütün ülkedeki çalışma saatlerine bakan anket ise toplam zaman tasarrufunu çok daha küçük buluyordu. Bir verimlilik sayısının anlamı, neyin, kimde, ne kadar süreyle ölçüldüğüne bağlıdır.

Sahada

Bir iddiayı okumak

Nevzat Bey'in dört sorusu, bir verimlilik iddiasını okumanın iskeletini kuruyor. Bunlara iki soru daha eklenebilir. Hangi iş? Kısa bir yazma görevi mi, uzun bir analiz mi, müşteriyle bir görüşme mi? Ne ölçüldü? Süre mi, adet mi, kalite mi, müşteri sonucu mu? Kim üzerinde? Hangi meslekten, hangi deneyimde insanlar? Ne kadar süre? Tek bir oturum mu, aylar mı? Karşılaştırma var mı? Aynı işi aracı kullanmadan yapan bir grup var mıydı? Hata nasıl sayıldı? Hızlanan işin hatası kim tarafından, ne zaman bulundu?

Ölçülmeyenler

Verimlilik çalışmaları belirli bir şeyi ölçer ve iyi çalışmalar bunu açıkça söyler. Ama bir işyerinde aracın etkisi ölçülmeyen yerlerde de görülür: doğrulamaya harcanan zamanda, yakalanmayan hatalarda, öğrenmede, müşteri sonucunda ve çalışanın yorgunluğunda.

Nevzat Bey'in sayfası

Toplantının sonunda satış ekibi Nevzat Bey'e bir sayfa daha gönderiyor: yüzde kırk, bir dergide yayımlanmış bir deneyden geliyor ve deneydeki görevler kısa yazma görevleri. Nevzat Bey bunu yanlış bulmuyor; yalnızca kendi işine aktarılamayacağını söylüyor. Ortaklar toplantısında bir öneri yapıyor: araç iki denetim ekibinde üç ay denensin, iki ekip de aracı kullanmadan aynı tür dosyalarda çalışmaya devam etsin. Ölçülecekler önceden yazılsın: taslak süresi, ortak düzeltme süresi, bulunan hata sayısı ve müşteriye giden rapordaki düzeltme talepleri. Burak Bey'e bir not düşüyor: «Bir aracı sunan herkes bir sayı getirecek. Bizim sayımızı biz ölçelim.» Böyle bir denemeyi kurmanın adımları ikinci bölümün «Küçük deneme» dersinde.

Gri alan

Bilgi işinde verimliliği ölçmek zordur ve yapay zekâ bu zorluğu artırır. Bir raporun kalitesini kim, hangi ölçütle değerlendirecek? Bir müşteri görüşmesinin başarısı süresiyle mi, müşterinin memnuniyetiyle mi, sorunun bir hafta sonra tekrar gelmemesiyle mi ölçülmeli? Araştırmaların kendisi de hızla eskiyebilir: bir çalışmanın yapıldığı yıldaki araç birkaç yıl sonra çok farklı olabilir ve sonuçların hangi yönde değişeceği belli değildir. Aracı ilk benimseyen ekiplerin zaten daha istekli ve daha becerikli olması, erken sonuçları olduğundan iyi gösterebilir; yeni bir şeyin denendiğini bilmek de insanların davranışını bir süre değiştirebilir. Bir başka belirsizlik, kazanılan zamanın nereye gittiğidir: daha fazla iş mi, daha iyi iş mi, daha az yorgunluk mu, yoksa daha az kişi mi? Bunu araç değil, kurumun kararı belirler ve çalışmalar bu soruya henüz kesin bir cevap vermiyor.

Senin işinde

Bir yapay zekâ aracının verimliliği artırdığı söylendiğinde, sayının nereden geldiğini sor; bir sunumdan mı, bir çalışmadan mı, kendi işyerindeki bir ölçümden mi? Çalışmadan geliyorsa, o çalışmadaki işin seninkine ne kadar benzediğini düşün. Kendi işinde bir araç kullanıyorsan, yalnız ne kadar hızlandığına değil, doğrulamaya ne kadar zaman harcadığına ve kaç hatayı sonradan yakaladığına da bak; bunları birkaç hafta not etmek, aracın sana gerçekte ne kazandırdığını gösterir. Bir ekip yönetiyorsan, bir aracın etkisini ölçmeden önce neyin ölçüleceğini yaz: yalnız süre değil, kalite, hata, düzeltme ve müşteri sonucu da. Kazanılan zamanın başka bir masaya taşınıp taşınmadığını, örneğin bir yöneticinin ya da bir kalite ekibinin yükünü artırıp artırmadığını sor. Ve bir sayıyı başkasına aktarırken, o sayının hangi işte ve kimde ölçüldüğünü de söyle.

Kendin dene

Aklında kalsın

Bir verimlilik sayısının anlamı, neyin, kimde, ne kadar süreyle ve neyle karşılaştırılarak ölçüldüğüne bağlıdır. Rastgele atamalı bir deneyde kısa profesyonel yazma görevlerinde bir sohbet asistanı görev süresini yüzde kırk kısalttı ve kaliteyi yüzde on sekiz artırdı; gerçek bir müşteri destek merkezinde bir asistan saatte çözülen talebi ortalama yüzde on beş artırdı ve etki çalışandan çalışana değişti; bütün bir ülkedeki çalışma saatlerine bakan bir anket ise toplam tasarrufu çok daha küçük buldu. Bir iddiayı okurken altı soru sorulur: hangi iş, ne ölçüldü, kim üzerinde, ne kadar süre, karşılaştırma var mı, hata nasıl sayıldı. Çıktı miktarı, kısalan süre ya da önce-sonra karşılaştırması tek başına yanıltıcı olabilir; kazanç, doğrulama ve düzeltme dahil sürecin bütünü ölçüldüğünde görülür.

Sonraki derse köprü

Müşteri destek merkezindeki ortalama artış, bütün temsilcilere eşit dağılmadı: bazıları çok kazandı, bazıları neredeyse hiç kazanmadı, bazılarının işinin kalitesi biraz düştü bile. Yapay zekânın etkisinin deneyime, beceriye ve göreve göre neden farklı dağıldığını M01-D03 açıyor.

Kendini sına

Soru 1 · Kavram

Bir yapay zekâ aracının verimlilik etkisini ölçerken karşılaştırma grubu neden önemlidir?

• A) Aracın fiyatını belirlemek için.
• B) Artışın araçtan mı yoksa aynı dönemde değişen başka bir şeyden mi geldiğini ayırt etmek için.
• C) Çalışanları cezalandırmak için.
• D) Sonucu daha büyük göstermek için.

Cevap: B. Bir aracın kullanımından önceki ve sonraki dönemler arasında mevsim, ekip ya da süreç gibi başka şeyler de değişir. Aracı kullanmayan benzer bir grup olmadan artışın kaynağı ayırt edilemez.

Soru 2 · Senaryo

Bir yazılım ekibi kod yardımcısı aracıyla yazdığı satır sayısının iki katına çıktığını raporluyor; aynı dönemde testte bulunan hata sayısı ve hata ayıklama süresi de artmış. En doğru yorum hangisidir?

• A) Satır sayısı iki katına çıktığı için verim iki katına çıkmıştır.
• B) Araç hiçbir işe yaramamıştır.
• C) Satır sayısı yanıltıcı bir çıktı ölçüsüdür; hata ve hata ayıklama süresi de hesaba katılmadan verim hakkında karar verilemez.
• D) Hatalar araçla ilgili olamaz.

Cevap: C. Bir yazılım ekibinin asıl çıktısı satır değil çalışan yazılımdır. Hata ve düzeltme süresi ölçülmeden yalnız satır sayısına bakmak verimliliği yanlış gösterebilir.

Soru 3 · Tuzak

Bir tedarikçi «Araştırmalar yüzde kırk verimlilik gösteriyor; bu aracı kullanırsanız denetim ekibiniz yüzde kırk hızlanır» diyor. Bu derste okunan deneye göre en doğru tepki hangisidir?

• A) Deney kısa profesyonel yazma görevlerinde yapıldı; sonucu uzun ve çok aşamalı bir denetim işine doğrudan aktarmak için kendi işinde ölçmek gerekir.
• B) Araştırma yayımlandığı için sonuç her işte geçerlidir.
• C) Deney hiçbir etki bulmadı.
• D) Yüzde kırk yalnız kaliteyle ilgilidir.

Cevap: A. Deneyde ortalama görev süresi yüzde kırk kısaldı, ama görevler orta düzey ve kısa yazma görevleriydi. Bir sonucun başka bir işe aktarılabilmesi için o işte ölçülmesi gerekir.

Soru 4 · Uygulama

Bir hastane, taburcu özetlerinin ilk taslağını hazırlayan bir yazılımla hekim başına günde bir saat kazanıldığını hesaplıyor; ama hekimler taslakları satır satır kontrol etmeye başlamış. Kazancı doğru hesaplamak için ne yapılmalıdır?

• A) Yalnız taslak hazırlama süresini ölçmek.
• B) Kontrol süresini, bulunan hataları ve hatanın olası bedelini de ölçmek.
• C) Hekimlerin kontrol yapmasını yasaklamak.
• D) Hesabı tedarikçiye bırakmak.

Cevap: B. Kazanç, sürecin bütünü ölçüldüğünde görülür. Doğrulamaya harcanan zaman ve yakalanan ya da kaçan hatalar hesaba katılmazsa kazanç olduğundan büyük görünür.