Tarama ve Dizin Yönetimi

Açılış sahnesi

Çevrimiçi bir oyuncak mağazasının geliştiricisi, sitenin yeni filtre sistemini denerken test sayfalarının arama sonuçlarına düşmesinden çekiniyor. Sitenin kök dizinindeki, arama motorlarının tarayıcılarına hangi bölümlere girmemeleri gerektiğini söyleyen küçük metin dosyasına bir satır ekliyor. Satır, test sayfalarını değil, ürün sayfalarının hepsini içine alan klasörü engelliyor; geliştirici bunu fark etmiyor.

İki hafta sonra mağazanın sahibi arama trafiğinin hızla düştüğünü görüyor. Ürün sayfaları arama sonuçlarında hâlâ görünüyor, ama altlarında bir açıklama yok; onun yerine bu sayfa hakkında bilgi yok gibi bir not duruyor. Birkaç hafta daha geçtiğinde sayfaların bir kısmı sonuçlardan tamamen kayboluyor.

Sitenin hiçbir sayfası silinmemişti, hiçbir ürün değişmemişti. Tek bir satır, arama motorunun mağazanın bütün vitrinine bakmasını engellemişti.

Bu derste ne olacak

Oyuncak mağazasını, haber sitesini, sahafı ve öbür işletmeleri ben kurguladım; dosya adlarını ve ayarları anlatırken de belirli bir yazılımın değil, büyük arama motorlarının ortak kabul ettiği genel kuralları anlatıyorum.

Geliştiricinin eklediği satır iyi niyetliydi, ama yanlış araçla yanlış hedefi vurmuştu. Bu ders, arama motoruna bir siteye nasıl erişeceğini ve neyi saklayacağını söyleyen araçları birbirinden ayırıyor. Önce tarayıcıya hangi bölümlere girmemesi gerektiğini söyleyen dosyaya bakacağım. Sonra bir sayfanın dizine alınmamasını isteyen sayfa düzeyindeki işarete ve bu iki aracın neden birbirinin yerine kullanılamayacağına geçeceğim. Ardından aynı içeriğin birden çok adreste durduğu durumlarda asıl adresin nasıl belirleneceğini ve yönlendirmelerin nasıl kurulacağını konuşacağım. Son olarak test ortamlarının, site taşımalarının ve arama motorlarının raporlarının bu kararlarda nasıl kullanılacağına bakacağız.

Sıfır noktası

Bu akademinin ilk dersinde arama motorunun bir sayfayı dört aşamadan geçirdiğini görmüştük: keşif, tarama, dizine ekleme ve sıralama. Aynı dersin açılışında, yapım aşamasından kalma bir satırın bir sitenin bütün sayfalarını dizin dışında bıraktığı bir atölyeyle karşılaşmıştık. Bir önceki kursun son dersinde ise birleştirilen sayfaların adreslerini yeni sayfaya kalıcı olarak yönlendirmeyi konuşmuştuk.

Teknik arama motoru optimizasyonu, bu aşamaların her birini yöneten araçlarla çalışıyor. İlk kursta aşamaların ne olduğunu anlatmıştık; bu kursta, bir sitenin her aşamada arama motoruna ne söylediğini ve bu sözlerin nasıl yanlış anlaşılabileceğini ele alıyoruz. Bu araçlar çoğu kez bir geliştiricinin elinde, birkaç satırlık ayarlar olarak duruyor; ama bir pazarlamacının onları anlaması gerekiyor, çünkü yanlış bir ayar, en iyi içeriği bile arama sonuçlarından bir gecede silebiliyor. Bu derste amaç, bu ayarları kendimiz yazmak değil; ne işe yaradıklarını, neyi yapamadıklarını ve teknik ekiple hangi soruları konuşmamız gerektiğini bilmek.

Mekanizma — tarayıcıya kapıları söylemek

Bir sitenin kök dizininde duran küçük bir metin dosyası, tarayıcılara sitenin hangi bölümlerine girmemeleri gerektiğini söylüyor. Bu dosya, tarama aşamasının kapı görevlisi gibi çalışıyor.

Tarama yönergesinin doğru kullanımı, tarayıcının zamanını sitenin değerli bölümlerine yönlendirmek.

Mekanizma — sayfaya dizin dışı kalmasını söylemek

Bir sayfanın dizine alınmasını istemediğimizde, doğru araç tarama yönergesi değil, sayfanın kendi kodunda yer alan bir işaret. Bu işaret arama motoruna, sayfayı tarayabileceğini ama saklamaması gerektiğini söylüyor.

Bazı sayfalar okur için gerekli, ama arama sonuçlarında bir anlam taşımıyor. Bu sayfalar dizin dışı bırakılıyor, ama sitede kalıyor.

Sitenin iç arama sayfaları da çoğu kez dizin dışı bırakılıyor; bu sayfalar okura bir şey sunmuyor, yalnızca sitenin başka sayfalarına işaret ediyor.

Mekanizma — asıl adres

Aynı içerik bir sitede çoğu kez birden çok adreste duruyor: kampanya takip kodları eklenmiş adresler, büyük ve küçük harfle yazılmış adresler, bir ürünün birden çok kategoride yer aldığı adresler, yazdırma sürümleri. Arama motoru bu adreslerden hangisini göstereceğine kendisi karar vermek zorunda kalıyor; site bu kararı ona bir ipucuyla bildirebiliyor.

Bir ürünün birden çok kategoride yer alması, aynı ürün sayfasının birden çok adres kazanmasına yol açabiliyor.

Mekanizma — yönlendirmeler

Bir sayfanın adresi değiştiğinde, eski adrese gelen ziyaretçilerin ve arama motorunun yeni adrese ulaşması için bir yönlendirme kuruluyor. Yönlendirmenin türü ve kuruluş biçimi, arama motorunun bu değişikliği nasıl anlayacağını belirliyor.

Sitelerin birkaç kez yenilenmesi, eski adreslerden yeni adreslere uzanan yönlendirme zincirleri bırakabiliyor.

Silinmiş bir sayfanın, sunucuya sayfanın hâlâ var olduğunu söyleyen bir hata sayfası göstermesi, arama motorunu yanıltıyor.

Usta katmanı — test ortamları, taşımalar ve raporlar

Bir sitenin geliştirildiği test ortamı, yanlışlıkla arama motorlarına açık kaldığında, sitenin kopyası arama sonuçlarında görünebiliyor ve asıl siteyle yarışabiliyor.

Bir siteyi yeni bir alan adına taşımak, teknik arama motoru optimizasyonunun en riskli işlerinden biri. Taşıma, eski adreslerin her birinin yeni karşılığına yönlendirilmesiyle ve dikkatle izlenen bir geçiş dönemiyle yapılıyor.

Arama motorlarının raporları, bir sitenin sayfalarının hangi aşamada takıldığını gösteriyor: keşfedilmiş ama taranmamış, taranmış ama dizine eklenmemiş, dizin dışı bırakılmış ya da bir yönlendirmenin arkasında.

Bu kararların çoğu bir geliştiricinin elinden çıkıyor. Pazarlama ekibiyle teknik ekip arasında ortak bir kontrol listesi, yanlış bir satırın fark edilmeden yayına girmesini önlüyor.

Yaygın hatalar

Aklında kalsın

Tarama yönergesi tarayıcıya hangi bölümlere girmemesi gerektiğini söyler; bir sayfanın dizine girmesini kesin olarak engellemez ve bir güvenlik aracı değildir. Doğru kullanımı, tarayıcının zamanını sitenin değerli bölümlerine yönlendirmektir.

Dizin dışı yönergesi bir sayfanın saklanmamasını ister; işe yaraması için sayfanın taranabilir olması gerekir. Taramaya kapatılmış bir sayfadaki dizin dışı yönergesi hiç okunmaz.

Standart adres, aynı içeriğin birden çok adresi olduğunda asıl adresi gösteren bir ipucudur; iç bağlantılar, site haritası ve yönlendirmelerle aynı adresi göstermelidir. Kalıcı taşımalar kalıcı yönlendirmeyle yapılır ve her eski adres asıl sayfaya doğrudan yönlendirilir; zincir bırakılmaz.

Test ortamları parolayla korunur, alan adı taşımaları eksiksiz bir adres listesiyle yapılır ve arama motorlarının raporları, sayfaların hangi aşamada takıldığını gösterir. Bu ayarların çoğu teknik ekibin elindedir; ortak bir kontrol listesi, yanlış bir satırın fark edilmeden yayına girmesini önler.

Sonraki derse köprü

Bu derste tek tek sayfaların ve adreslerin arama motoruna ne söylediğine baktık. Ama binlerce ürünü, onlarca kategorisi ve sayısız filtre birleşimi olan büyük bir sitede, bu kararlar tek tek değil, sitenin bütün adres yapısı düzeyinde veriliyor.

Sıradaki ders adres yapısını, site mimarisini ve ölçeği ele alıyor. Büyük sitelerde kategori, filtre ve sayfalama risklerini nasıl yöneteceğimizi orada göreceğiz.