Site haritası ve robots.txt, sitenizle arama motorları arasındaki iki temel yönlendirme dosyasıdır. Biri Google'a "bu sayfalarım var" derken, diğeri "şu bölümleri tarama" der. İkisi de küçük dosyalardır ama yanlış yapılandırıldıklarında büyük sorunlara yol açabilir.
XML site haritası nedir?
XML site haritası, sitenizdeki önemli sayfaların listesini içeren bir dosyadır. Google'ın sayfalarınızı daha hızlı ve eksiksiz keşfetmesine yardımcı olur. Özellikle yeni siteler, çok sayfalı siteler ve iç linkleri zayıf siteler için önemlidir.
İyi bir site haritası
- Yalnızca dizine eklenmesini istediğiniz sayfaları içerir.
- Yönlendirilen, 404 veren veya noindex etiketli sayfaları içermez.
- Yeni sayfalar eklendiğinde otomatik güncellenir.
- Çok büyük sitelerde birden fazla site haritasına bölünür.
Site haritasını Google'a bildirin
Site haritanızın adresini Google Search Console'daki "Site haritaları" bölümüne ekleyin. Ayrıca robots.txt dosyanızda da site haritası adresini belirtebilirsiniz. Search Console, site haritasındaki kaç sayfanın dizine eklendiğini gösterir. Bkz. Search Console rehberi.
robots.txt nedir?
robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi bölümleri taramamaları gerektiğini söyleyen bir metin dosyasıdır. Örneğin yönetim paneli, arama sonucu sayfaları veya sepet sayfaları taramadan hariç tutulabilir.
robots.txt ile ilgili önemli uyarılar
- robots.txt bir sayfayı dizinden çıkarmaz. Taramayı engeller, ancak başka yerlerden link alan bir sayfa yine de dizinde görünebilir. Bir sayfanın dizine eklenmemesini istiyorsanız noindex etiketi kullanın.
- Önemli dosyaları engellemeyin. CSS ve JavaScript dosyalarını engellemek, Google'ın sayfanızı doğru görmesini engeller.
- Geliştirme ayarlarını unutmayın. Site yayına alınırken "tüm siteyi engelle" ayarının kaldırıldığından emin olun. Bu, yeni sitelerde en sık yapılan hatalardan biridir.
- Gizli bilgileri korumak için kullanmayın. robots.txt herkes tarafından okunabilir.
Basit bir robots.txt örneği
Çoğu kurumsal site için tüm siteye izin veren ve site haritasının adresini belirten birkaç satırlık bir dosya yeterlidir.
Sonuç
Bu iki dosya doğru kurulduğunda Google sitenizi daha verimli tarar. Tasarladığımız tüm sitelerde site haritası ve robots.txt otomatik olarak hazırlanıyor. Mevcut sitenizi kontrol etmek için SEO hizmetimize göz atın.
Google'da müşterinin aradığı kelimelerde üst sıralar. Projenizi konuşalım, size uygun paketi birlikte seçelim.