Entegrasyon ve Veri Kalitesi

Açılış sahnesi

Afyon'da kaymak, sucuk ve kahvaltılık gönderen bir şarküterinin e-posta ekibi, yeni müşterilere gönderilen karşılama akışının beklenenden az kişiye ulaştığını fark ediyor. Sipariş sistemindeki yeni müşteri sayısı ile karşılama akışına giren kişi sayısı arasında her ay küçük ama inatçı bir fark var. İlk bakışta kimse bunu önemsemiyor.

Bir analist farkı araştırıyor. Siparişler müşteri kayıt sistemine her gece bir bağlantıyla aktarılıyor; bağlantı, adında bazı Türkçe harfler bulunan ve telefon numarası farklı biçimde yazılmış kayıtları sessizce atlıyormuş. Hata hiçbir yerde görünmüyor; bağlantı her gece başarılı çalıştığını bildiriyor. Aylardır birkaç yüz müşteri, karşılama mektubunu hiç almamış.

Bağlantıyı kimin kurduğunu soran analist, onu kuran geliştiricinin bir yıl önce ayrıldığını öğreniyor. Bağlantının nasıl çalıştığını anlatan tek bir satır bile yazılmamış. Aynı hafta bir müşteri sabah adresini değiştiriyor, öğlen sipariş veriyor; gece çalışan aktarım henüz gerçekleşmediği için sipariş eski adrese çıkıyor. Sistemler vardı, aralarındaki yollar da vardı; ama o yolların nasıl, ne zaman ve kimin sorumluluğunda çalıştığını kimse bilmiyordu.

Bu derste ne olacak

Şarküterinin sorunu kötü sistemler değildi; sistemleri birbirine bağlayan yolların kendi riskleri vardı ve bu riskler yönetilmiyordu. Sistemler müşteriyi farklı biçimlerde tanıyor, veri farklı zamanlarda aktarılıyor, hatalar sessizce yutuluyor ve bağlantıların sahibi yoktu. Afyonlu şarküteri de, dersin öbür işletmeleri de kurgudur. Hata kuyruğu bölümündeki sayılar da uydurma; küçük görünen bir kaybın bir yılda nereye vardığını göstermek için kondu.

Bir önceki ders müşteri verisinin yolculuğunu bir harita üzerinde çizdi. Bu ders haritadaki okların, yani sistemler arası bağlantıların nasıl bozulduğuna bakıyor: iki sistemin aynı müşteriyi ve aynı alanı farklı biçimlerde tanımasını, verinin farklı zamanlarda aktarılmasının yarattığı tutarsızlığı, hataların fark edilmeden kaybolmasını ve bağlantıların sahipsiz kalmasını.

Sıfır noktası

Verinin kalitesini veri toplama kursunda ele aldık: veri sınaması, tekilleştirme anahtarı, kesinleşme süresi ve hacim alarmı; aynı kurs izinli değer listesini, olay taksonomisini ve etki haritasını da getirdi. Müşteri ilişkileri birimi kimlik anahtarını ve asıl kaynağı kurdu. Bu kursun önceki dersleri sistem rollerini, rol sınırlarını, gölge kayıtları ve veri akış haritasını tanımladı; hazır bir paket mi, ayrı araçlar mı sorusunu tartarken de bağlantıları ayakta tutmanın bir emek olduğunu gördük.

Veri toplama kursundaki sınamalar tek bir sistemin içine giren olaylara bakıyordu. Bu ders iki sistemin arasındaki boşluğa bakıyor: veri bir sistemden çıkıp öbürüne girerken yolda ne değişiyor, ne kayboluyor ve kim fark ediyor?

Mekanizma — iki sistem, iki dil

Her sistem müşteriyi ve onun bilgilerini kendi biçiminde tutar. Bir sistemde telefon numarası başında sıfırla, öbüründe ülke koduyla yazılır; biri ili ve ilçeyi ayrı alanlarda, öbürü tek bir adres satırında tutar; biri kişiyi yazışma adresinden, öteki kendi ürettiği bir sıra numarasından tanır. İki sistem birbirine bağlandığında, bu farklar ya bir çeviriyle çözülür ya da sessizce hata üretir.

Anahtar, iki sistemde aynı olmalı.

Karakter, yolda kaybolmasın.

Mekanizma — ne zaman, ne sıklıkla

İki sistem arasındaki aktarım anında da olabilir, saatte bir, gecede bir ya da haftada bir de. Her seçimin bir bedeli vardır: anında aktarım daha karmaşık ve kırılgandır; seyrek aktarım ise iki sistem arasında, aktarım gerçekleşene kadar süren bir tutarsızlık penceresi açar. Bu pencere, bir müşterinin adres değiştirip aynı gün sipariş vermesi gibi sıradan bir anda sorun olur.

Aynı alan, iki yerde değişince.

Analiz, gecelik aktarımla yetinebilir.

Mekanizma — sessizce kaybolan kayıtlar

Bir bağlantı bir kaydı aktaramadığında üç şeyden birini yapar: işlemi durdurup alarm verir, kaydı bir kenara ayırıp sonra yeniden dener ya da kaydı sessizce atlar. Üçüncüsü en tehlikelisidir, çünkü bağlantı başarılı çalıştığını bildirmeye devam eder ve eksik kayıtlar yalnız bir yerde bir sayı tutmadığında fark edilir.

Başarılı mesaj, başarı değil.

Kuyruk, birinin görevi.

Usta katmanı — her bağlantının bir sahibi

Bir bağlantı kurulduğu gün çalışır; ama sistemler güncellenir, alanlar değişir, yeni veri türleri eklenir ve bağlantı zamanla kırılgan hâle gelir. Bir bağlantının bakımı, kimse sahiplenmediğinde yapılmaz; kuran kişi ayrıldığında da nasıl çalıştığı bilgisi onunla birlikte gider.

Bağlantının hesabı, bir kişiye bağlı değil.

Değişiklik, bağlantıyı da düşünerek.

Belge, kırılma anında okunuyor.

Sahiplik, dönemsel olarak gözden geçiriliyor.

İki bağlantı, tek kâğıt.

Yaygın hatalar

Aklında kalsın

Sistemler kadar, aralarındaki yollar da bozulur. Bir bağlantının riski kimlik, zamanlama, hata ve sahiplik olarak dört başlıkta toplanır.

Alan eşleme, iki sistem arasındaki her alanın adını, biçimini ve anlamını eşleştirir ve iki sistemin müşteriyi hangi anahtarla tanıyacağını yazar.

Eşitleme aralığı, verinin ne sıklıkla aktarıldığını ve iki sistemin ne kadar süre farklı bilgi tutabileceğini belirler. Aralık, verinin kullanım anına göre seçilir.

Hata kuyruğu, aktarılamayan kayıtları atlamak yerine ayırır, sayar ve yeniden dener. Kaynak ve hedef sayıları her aktarımda karşılaştırılır.

Entegrasyon sahibi, her bağlantının çalışmasından, belgesinden, izlenmesinden ve değişikliklerinden sorumludur. Sahipsiz bir bağlantı, kimsenin ödemediği bir borçtur.

Sonraki derse köprü

Bu derste sistemler arası yolların risklerini tanıdık: alan eşleme, eşitleme aralığı, hata kuyruğu ve entegrasyon sahibi. Afyonlu şarküterinin karşılama akışı artık her yeni müşteriye ulaşıyor; aktarımın sonunda kaynak ve hedef sayıları karşılaştırılıyor ve her bağlantının bir sahibi var.

Şarküterinin bir sonraki kararı, eski e-posta aracını değiştirmek. Masada üç seçenek var ve her birinin tanıtım sunumu diğerinden parlak. Ama bu derste gördüğü sorunlardan sonra şarküterinin sorduğu sorular değişti: yeni araç Türkçe harfleri doğru taşıyor mu, verisini açık bir biçimde dışa aktarabiliyor mu, bağlantıları kişisel değil ortak hesaplarla kurulabiliyor mu, ekip onu gerçekten kullanabilecek mi ve ilk yılın toplam maliyeti ne?

Sıradaki ders araç seçim ölçütlerini ele alıyor: bir aracı kullanım durumuna, toplam maliyetine, güvenliğine, verinin taşınabilirliğine ve ekibin ona uyumuna göre değerlendirmeyi orada çalışacağız.