Ses üretimi

Açılış

"Burcu, benim. Telefonum elimden düştü, ekranı gitti, birinin telefonundan arıyorum."

Ses Selim'indi. Cümleye "şey" diye girmesi, kelimelerin sonunu hafifçe yutması, sıkışınca başlayan kısa gülüşü de onundu. Belediye meclisine yarım saat sonra sunum yapacağını, yönetim paneline giremediğini, iki adımlı doğrulamanın şimdi elindeki numaraya taşınması gerektiğini söyledi. Acele ediyordu ama kaba değildi; Burcu'ya hafta sonunu bile sordu.

Burcu "Seni şirket hattından hemen geri arayayım" dedi. Ses, meclis salonuna girmek üzere olduğunu, telefonu kapatacağını söyledi. Burcu yine de kapattı ve Selim'in kayıtlı numarasını aradı. Selim ikinci çalışta açtı, fısıldayarak konuştu: Hakan Bey'in odasındaydı, sabahtan beri kimseyi aramamıştı, telefonu da sağlamdı.

Destek hattı görüşmeleri kaydediyordu. Akşam Onur kaydı üç kez dinledi. Selim'in bir girişim buluşmasında yaptığı kırk dakikalık konuşma iki yıldır internette duruyordu; şirketin tanıtım videosunda da sesi vardı. Kayıttaki sesin onun olmadığını Onur ancak Selim'in o saatte nerede olduğunu bildiği için söyleyebiliyordu.

"Sesinden şüphelenmedim," dedi Burcu. "İstediği şeyden şüphelendim."

Onur'un aklında kalan soru buydu: Burcu o gün acele etseydi, ekipte onu durduracak olan neydi?

Tek fikir

Ses üretimi, bir kişinin kayıtlarından onun sesine çok benzeyen yeni konuşma üretebilir; bu yüzden tanıdık bir ses kimliğin kanıtı olmaktan çıkar. Kimliği kulak değil, önceden kurulmuş bir doğrulama kanalı kanıtlar.

Nasıl çalışır

Ders 11.3'te dikte programı sesi spektrograma, spektrogramı da metne çeviriyordu. Ses üretimi bu yolu öteki uçtan başlatır.

Eski birleştirme yönteminde bir seslendirmenin saatlerce okuduğu kayıt küçük parçalara bölünür, yeni cümle bu parçalar uç uca eklenerek kurulurdu; ekleme yerleri kulağa takılırdı. Parametrik yöntemde bir model sesin özelliklerini sayılarla tahmin eder, bir ses üreticisi o sayılardan dalgayı kurardı; ses düzgün ama boğuk ve makinemsi çıkardı.

Yaygın bir düzen metni önce okunuş birimlerine, sonra Ders 11.3'teki spektrograma benzer bir ızgaraya, en son da dalgaya çevirir. Son adım en zor olanıdır, çünkü dalga çok sıktır.

Yazarlar sesi saniyede on altı bin ölçümle ele alır. Ham kayıtta her ölçüm on altı bitlik bir tam sayıdır, yani altmış beş bin beş yüz otuz altı olası değerden biridir. Ağ bir sonraki ölçümü bir sınıflandırma sorusu gibi tahmin eder: önceki ölçümlere bakar ve olası değerlerin her birine bir olasılık verir. Altmış beş bin seçenek fazla olduğu için sesi önce iki yüz elli altı basamağa sıkıştırırlar; kısık seslerde basamaklar sık, yüksek seslerde seyrektir. Üç saniyelik bir cümle böylece kırk sekiz bin ardışık tahmin demektir. Ders 11.2'deki tekrarlayan ağ geçmişi bir durumda taşıyordu; bu ağ geçmişe evrişim katmanlarıyla bakar, ama mantık aynıdır: her adım bir öncekine yaslanır.

Yazarlar tek bir ağı yüz dokuz konuşmacının kırk dört saatlik kaydıyla eğitti ve hangi sesi üreteceğini konuşmacının kimliğini girdi olarak vererek seçti. Ağ yalnız ses rengini değil, kaydın odasını, mikrofonun niteliğini, nefes alışları ve ağız seslerini de taklit etti. Bir sesi tanıdık kılan ayrıntıları da öğrenmişti.

Bu ortalama görüş puanı, sesin kulağa ne kadar doğal geldiğini ölçer. Belirli bir kişiye ne kadar benzediği ayrı bir puanla ölçülür.

İlk klonlama yöntemleri hedef kişinin saatlerce kaydını isterdi. Sonra yön değişti: model binlerce kişinin sesiyle bir kez eğitilir ve insan seslerinin genel bir haritasını öğrenir. Yeni birinin kısa bir kaydı, o haritada nereye düştüğünü göstermeye yeter. Ders 10.4'teki aktarım öğrenmesinin seste karşılığı budur: genel bilgi büyük veriden gelir, kişiye özgü ayar küçük örnekten.

Ders 1.5'te biyometrik doğrulamayı, Ders 10.6'da yüz tanımada yanlış eşleşme oranını görmüştük. Telefon bankacılığında ve çağrı merkezlerinde kullanılan ses doğrulaması da aynı mantıkla çalışır: kayıtlı ses ile gelen ses bir puanla karşılaştırılır, puan eşiği geçerse kapı açılır. Ses klonlamanın asıl tehlikesi burada görünür. Eşik bir başka insanın sesini dışarıda tutacak biçimde ayarlanmıştır; klonlanmış ses ise başka biri değildir, kişinin kendi sesine benzemek üzere üretilmiştir.

Yazarlar sonucu eşit hata oranıyla verir: eşik, yanlış kabul ile yanlış reddin birbirine eşitlendiği yere konduğunda iki oranın ortak değeri. Düşük olması iyidir; yüzde elliye yaklaşması, sistemin yazı turadan farksızlaştığını gösterir.

Sahada

Nerede yanılır

Ses üretiminin hatası iki yerde birden ortaya çıkar: üretilen seste ve o sesi dinleyen insanda.

Üretilen ses en çok uzun cümlenin ezgisinde ve özel adlarda tökezler. Van den Oord ve arkadaşları ağın bazen cümlede yanlış kelimeyi vurguladığını yazar; bir sorunun ezgisi düz bir bildirime, bir uyarı sıradan bir bilgiye dönüşebilir. Bir belediye asistanı "3. Sokak" yazısını "üç sokak" diye, bir kısaltmayı harf harf ya da hiç okumadan geçebilir. Bu hatalar sesin doğallık puanını pek düşürmez, ama dinleyeni yanlış yere gönderir. Klonlama da herkese eşit işlemez: Chengyi Wang ve arkadaşlarının sisteminde benzerlik aksanlı konuşmacılarda düştü.

Asıl yanılgı dinleyende. Kimliği sesten okumaya alışmışız, çünkü yakın zamana kadar bir sesi taklit etmek yetenekli bir taklitçi isterdi. Bu alışkanlık kopyalanabilen bir sinyal karşısında boşa düşer. Dahası, dikkatli dinlemek iki yönde de yanıltır: sahte sesin bir kısmını gerçek, gerçek sesin bir kısmını sahte sanırız.

Tespit yazılımları da bu boşluğu kendiliğinden kapatmaz. Bir dedektör, eğitimde gördüğü üretim yöntemlerinin izlerini öğrenir. Ders 6.6'daki dağılım kayması burada bir yarışa dönüşür: yeni bir üretim yöntemi çıktığında dedektörün sınama setindeki başarısı sahadaki başarısını göstermez. Laboratuvarda yüzde bir hata yapan bir dedektör, kimsenin onun için hazırlamadığı gerçek kayıtlarda yazı turaya yaklaşabilir. Yanılgı, tek bir sinyale kimlik yükünü taşıtmaktan doğar.

Uygulama

Bir ekibin ya da bir ailenin sesle gelen acil isteklerini nasıl doğrulayacağını tasarlayacaksın, önce de kulağa güvenmenin bedelini hesaplayacaksın.

1. Varsayım: Burcu'nun ekibine bir yılda arkadaşlarından bin acil sesli istek geliyor ve bunların onu sahte. Bu sayılar bir ölçüm değil, hesabı kurmak için seçilmiş varsayımlardır.
2. Mai ve arkadaşlarının deneyinde dinleyiciler tek başına dinledikleri sahte kayıtların yüzde yetmiş üçünü yakaladı, gerçek kayıtların da yaklaşık yüzde otuz ikisini sahte sandı. Bu iki oranı kullanarak on sahte istekten kaçının geçeceğini yaz.
3. Dokuz yüz doksan gerçek istekten kaçının kuşkuyla karşılanacağını hesapla.
4. Kuşkulanılan isteklerin toplamında sahte olanların payını bul. Ders 7.6'daki taban oranı sorusunu hatırla: bir "kuşkulu" damgası ne kadar bilgi taşıyor?
5. Şimdi kartı yaz. Hangi istekler sesle asla yerine getirilmez: para gönderme, parola ya da doğrulama kodu paylaşma, hesap numarası değiştirme. Her biri için kapatıp önceden kayıtlı numaradan geri arama, yüz yüze belirlenmiş bir soru ya da ikinci bir kişinin onayı gibi bir yol seç.
6. Kartın maliyetini bir satırla yaz: bin isteğin hangileri geri aramaya girer, her biri kaç dakika sürer?

Hesabın yaklaşık sonucu: sahte isteklerin yedisi yakalanır, üçü geçer. Gerçek isteklerden dokuz yüz doksanın yüzde otuz ikisi, yaklaşık üç yüz on yedi tanesi kuşkuyla karşılanır. Kuşku duyulan yaklaşık üç yüz yirmi dört isteğin yalnız yedisi sahtedir, yüzde ikiye yakın. Kulak hem sızdırır hem yorar; kart ise isteğin hangi kanaldan onaylandığını sorar ve yalnız yüksek bedelli isteklerde devreye girer.

Defter: "Sesle gelen istek" sayfasına üç rakamı yaz: geçen sahte istek, boşuna kuşkulanılan gerçek istek, kuşkulu damgasının içindeki sahte payı. Altına kartının en kısa hâlini tek cümleyle ekle ve kartı evdekilerle ya da ekip arkadaşlarınla yüz yüze konuşacağın günü not et.

Hata köşesi

Sorumluluk

Burcu'nun telefonu kapatması bir sezgiydi; bir şirket sezgiye yaslanamaz. Onur ertesi gün ekibe yazılı bir kural getirdi ve Selim de altına imza attı: parola sıfırlama, doğrulama ayarı değişikliği ve ödeme talimatı hiçbir zaman gelen bir aramada yerine getirilmez; istek kim adına gelirse gelsin, kayıtlı numaradan geri aranarak doğrulanır, ödemede ikinci bir kişinin onayı aranır. Kural yokken aldatılan bir çalışanın hatası, kuralı koymayan yönetimin hatasıdır. Hakan Bey de belediyenin telefon hattında asistanın sentetik bir sesle cevap vermesini istiyordu; Onur'un önerisi, sesin her görüşmenin başında otomatik bir sistem olduğunu söylemesiydi, karar Hakan Bey'e kaldı. Zarar en çok, sesi kamuya açık kayıtlarda duran ve kendi sesi üzerinde söz hakkı olmayan kişilere dokunur.

Kapanış

1. Metinden sese sistemleri dalgayı ölçüm ölçüm ya da kodlardan üretir; dinleyici puanı sesin ne kadar doğal geldiğini ölçer, kime benzediğini ayrıca ölçmek gerekir.
2. Ses klonlama, binlerce sesle eğitilmiş bir modelin bir kişinin kısa kayıtlarından onun sesini taklit etmesidir; sentetik ses ses doğrulama sistemlerini ve dinleyen insanı aynı anda yanıltabilir.
3. Ne kulak ne tespit yazılımı kimliği tek başına kanıtlar; yüksek bedelli isteklerde doğrulama, önceden kurulmuş bir geri arama kanalına ve ikinci bir onaya dayanır.

Üç soru

1. On altı bitlik bir ölçüm kaç olası değer alır, saniyede on altı bin ölçümle üç saniyelik bir cümle kaç ardışık tahmin gerektirir?
2. Bir ses doğrulama sisteminde eşit hata oranının yüzde iki virgül kırk sekizden yüzde altmış dördün üstüne çıkması ne anlama gelir?
3. Mai ve arkadaşlarının deneyinde yan yana dinlemek doğruluğu yükseltti; bu bulgu telefon aramasındaki doğrulamaya neden doğrudan taşınamaz?

Yanıtlar

1. İkinin on altıncı kuvveti, altmış beş bin beş yüz otuz altı değer. Üç saniye kere on altı bin, kırk sekiz bin ardışık tahmin eder; her tahmin bir öncekine yaslandığı için üretim adım adım ilerler.
2. Gerçek insan taklitçilere karşı sistem yüz denemenin yaklaşık iki buçuğunda yanılıyordu. Yüzde ellinin üstü, sentetik seslerin sistemin gözünde kişinin kendi kayıtlarından daha çok ona benzediğini gösterir; eşik nereye konursa konsun ayrım çöker.
3. Yan yana dinlemede elde aynı cümlenin gerçek kaydı vardı. Telefonda karşılaştırma yapılacak gerçek kayıt yoktur, üstelik dinleyen sahte ses beklemez. Bu yüzden doğrulama sesin kendisini değil, isteğin geldiği kanalı sınamalıdır.

Sonraki derse köprü

Burcu'yu durduran sesin kendisi değildi; isteğin olağan dışı oluşuydu: alışılmamış bir numara, alışılmamış bir acele, daha önce hiç istenmemiş bir ayar değişikliği. Ders 11.5, Anomali tespiti, bu sezgiyi veriye taşıyor: bir sistem olağan davranışı öğrenip ondan sapanı nasıl işaretler, ve olağan dışı her şey gerçekten şüpheli midir?