Web sitesi sahiplerinin, arama motorlarına hangi sayfaların taranacağını ve hangi sayfaların taranamayacağını belirlemek için kullandığı iki önemli araç vardır: robots.txt dosyası ve XML site haritası. Bu iki araç, SEO stratejilerinin temel unsurlarından biridir ve web sitenizin arama motorları tarafından doğru bir şekilde dizine eklenmesini sağlamada önemli bir rol oynar.
1. Robots.txt Dosyası
Robots.txt, web yöneticilerinin arama motoru botlarına (örneğin Googlebot) web sitelerinin hangi bölümlerini taramaması gerektiğini bildirdiği bir dosyadır. Bu dosya, kök dizine yerleştirilir ve botların belirli sayfalara veya dizinlere erişimini sınırlamak için kullanılır.
Robots.txt Dosyasının Temel Kullanım Alanları:
- Taramayı Engelleme: Web yöneticileri, arama motorlarının bazı sayfaları, dizinleri veya dosyaları taramasını engellemek için robots.txt dosyasını kullanabilirler. Örneğin, yönetim paneli, giriş sayfası gibi sayfaların arama motorları tarafından indekslenmesini istemeyebilirsiniz.
- Taramayı İzin Verme: Bunun tersine, belirli sayfalara veya dizinlere tarama izni vermek de mümkündür. Örneğin, web sitesindeki blog sayfalarının arama motorları tarafından taranmasını istiyorsanız, bu sayfalara özel izin verebilirsiniz.
Robots.txt Dosyasının Yapısı:
- User-agent: Hangi botun hedef alındığını belirtir (örneğin, Googlebot).
- Disallow: Botların hangi sayfaları tarayamayacağını belirtir.
- Allow: Hangi sayfalara botların erişebileceğini belirtir.
- Sitemap: XML site haritasının URL’sini belirtmek için kullanılır.
Örnek Robots.txt Dosyası:
User-agent: Googlebot
Disallow: /private/
Disallow: /login/
User-agent: *
Allow: /public/
Sitemap: https://www.orneksite.com/sitemap.xml
Bu örnek, Googlebot’un /private/
ve /login/
sayfalarını taramasını engellerken, tüm botlara /public/
sayfasına erişim izni verir. Ayrıca, site haritasının URL’si belirtilmiştir.
2. XML Site Haritası
XML site haritası, web sitenizin tüm önemli sayfalarını, içeriklerini ve medya dosyalarını arama motorlarına tanıtmak için kullanılan bir dosyadır. Arama motorları bu site haritasını tarayarak, sitenizdeki yeni ve güncellenmiş içerikleri daha hızlı bulabilir ve indeksleyebilir.
XML Site Haritasının Temel Kullanım Alanları:
- İçerik Tanıtımı: XML site haritası, sitenizdeki önemli içerikleri (sayfalar, blog yazıları, resimler, videolar vb.) arama motorlarına bildirir.
- Yeni Sayfalar: Web sitenizde yeni bir sayfa veya içerik eklendiğinde, bu sayfanın site haritasına eklenmesi, arama motorlarının hızlıca bu yeni içeriği indekslemesine yardımcı olur.
- Öncelik ve Güncelleme Sıklığı: XML site haritası, arama motorlarına her sayfanın öncelik düzeyini (priority) ve ne sıklıkla güncellenmesi gerektiğini de belirtebilir. Bu, botların hangi sayfaları daha öncelikli taramaları gerektiğini anlamasına yardımcı olur.
XML Site Haritasının Yapısı:
- URL Etiketleri: Web sitenizdeki her bir sayfanın URL’si
<url>
etiketiyle belirtilir. - Son Güncellenme Tarihi (lastmod): Sayfanın en son ne zaman güncellendiği bilgisi.
- Değişim Frekansı (changefreq): Sayfanın ne sıklıkla güncellenebileceğini belirten bilgi.
- Öncelik (priority): Sayfanın diğer sayfalara göre SEO’daki öncelik derecesi.
Örnek XML Site Haritası:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.orneksite.com/</loc>
<lastmod>2025-01-20</lastmod>
<changefreq>daily</changefreq>
<priority>1.00</priority>
</url>
<url>
<loc>https://www.orneksite.com/blog</loc>
<lastmod>2025-01-15</lastmod>
<changefreq>weekly</changefreq>
<priority>0.80</priority>
</url>
</urlset>
Bu örnek, ana sayfanın her gün güncellendiğini ve yüksek önceliğe sahip olduğunu belirtirken, blog sayfasının haftada bir güncellenmesi gerektiğini ve orta düzeyde önceliğe sahip olduğunu gösterir.
Robots.txt ve XML Site Haritasının SEO’ya Etkisi
- Daha Hızlı İndeksleme: XML site haritası, arama motorlarının sitenizdeki tüm sayfalara kolayca erişmesini sağlar ve böylece daha hızlı indeksleme yapılmasına olanak tanır.
- Daha İyi Tarama Yönetimi: Robots.txt dosyası, arama motorlarına hangi sayfaların taranması gerektiğini ve hangilerinin taranamayacağını belirleyerek tarama kaynaklarını verimli kullanır.
- Daha Etkili SEO: Her iki dosya da arama motorlarının sitenizi daha doğru ve verimli şekilde anlamasına yardımcı olur. Bu, SEO sıralamalarınızı iyileştirmeye yardımcı olabilir.
Sonuç
Robots.txt dosyası ve XML site haritası, SEO’nun başarılı bir şekilde uygulanmasında kritik rol oynayan iki önemli araçtır. Robots.txt, arama motorlarına hangi sayfaların taranacağını veya taranamayacağını bildirirken, XML site haritası, arama motorlarına sitenizdeki tüm içerikleri hızlıca ve doğru şekilde tanıtır. Her iki dosyanın doğru yapılandırılması, web sitenizin SEO performansını artırarak arama motorları tarafından daha iyi indekslenmesini sağlar.