Robots.txt Dosyası Nedir? Nasıl Kullanılır?

Bir web sitesi yayına alındığında, arama motorlarının sitenizi nasıl tarayacağını kontrol etmek önemlidir. İşte bu noktada devreye robots.txt dosyası girer. SEO çalışmalarının temel yapı taşlarından biri olan bu küçük ama etkili dosya, arama motorlarının sitenizde hangi sayfalara erişip erişemeyeceğini belirler. Bu yazıda robots.txt dosyasının ne olduğunu, ne işe yaradığını ve nasıl doğru şekilde kullanılacağını detaylıca öğreneceksiniz.

Robots.txt Dosyası Nedir?

Robots.txt, bir web sitesinin kök dizininde yer alan düz metin (.txt) formatında bir dosyadır. Arama motoru botlarına (örneğin Googlebot, Bingbot), hangi sayfaların taranmasına izin verildiğini veya engellendiğini bildirmek için kullanılır.

Bu dosya, web tarayıcılarının sitenize geldiğinde ilk baktığı yerlerden biridir. Robots.txt dosyasındaki kurallar sayesinde, özel veya indekslenmesini istemediğiniz içeriklerin arama motorlarında görünmesini engelleyebilirsiniz.

Robots.txt Dosyası Ne İşe Yarar?

Robots.txt dosyası, sitenizin tarama ve indeksleme süreçlerini optimize etmek için çeşitli amaçlarla kullanılır:

• Gizli Sayfaları Engelleme: Üyelik sayfaları, ödeme ekranları, admin panelleri gibi kullanıcıya özel içeriklerin taranmasını engelleyebilirsiniz.

• Kopya İçeriklerden Kaçınma: Aynı içeriğe sahip sayfaları tarama dışı bırakarak kopya içerik sorununu önleyebilirsiniz.

• Sunucu Yükünü Azaltma: Gereksiz sayfaların taranmasını engelleyerek arama motoru botlarının sunucunuz üzerindeki yükünü azaltabilirsiniz.

• Tarama Bütçesini Yönlendirme: Googlebot’un zamanını önemli sayfaları taramakla geçirmesini sağlayarak SEO performansınızı artırabilirsiniz.

Robots.txt Dosyasının Temel Yapısı

Robots.txt dosyası basit bir sözdizimi kullanır. Temel komutlar şunlardır:

• User-agent: Hangi bot için kural tanımlandığını belirtir.

• Disallow: Botun erişmesini istemediğiniz dizin veya sayfa.

• Allow: (isteğe bağlı) Erişime izin verilen dizin veya sayfa.

• Sitemap: Site haritanızın adresini belirtir.

Örnek 1: Tüm botları engelleme

Örnek 2: Tüm botlara sadece /admin dizinini yasaklama

Örnek 3: Googlebot’a özel kural

Örnek 4: Site haritası ekleme

Robots.txt Dosyası Nasıl Oluşturulur?

1. Düz Metin Dosyası Oluşturun: Bilgisayarınızda Not Defteri gibi bir metin düzenleyici kullanarak bir dosya oluşturun.

2. Kuralları Belirleyin: Hangi dizin veya sayfaların engelleneceğine karar verin ve ilgili satırları ekleyin.

3. robots.txt olarak Kaydedin: Dosyanın uzantısı .txt olmalı ve adı mutlaka robots.txt olmalıdır.

4. Sunucunun Kök Dizinine Yükleyin: Web sitenizin kök dizinine (genellikle /public_html/) bu dosyayı yükleyin.

5. Doğrulama: Google Search Console üzerinden veya tarayıcıya https://edsseo.com/robots.txt yazarak kontrol edebilirsiniz.

Robots.txt Dosyasını Kullanırken Dikkat Edilmesi Gerekenler

• Yanlış Disallow Kullanımı: Önemli sayfaları yanlışlıkla engellemek SEO’ya ciddi zarar verir.

• Noindex Etkisi Yok: Robots.txt sadece taramayı engeller, indekslemeyi değil. Noindex etiketi gibi çalışmaz.

• Disallow Edilen Sayfa İçin Backlink Varsa: Google, disallow edilmiş sayfayı tarayamasa bile indeksleyebilir. Çünkü dış bağlantılar hâlâ etkili olabilir.

• Küçük Harf/Büyük Harf Duyarlılığı: Robots.txt’de yazılan dizin adları büyük/küçük harfe duyarlıdır. /Admin/ ve /admin/ farklı dizinlerdir.

• Dosya Formatı: UTF-8 formatında kaydedilmelidir.

Robots.txt ile İlgili Sık Yapılan Hatalar

• Tüm siteyi yanlışlıkla engellemek: Disallow: / ifadesi sitenin tamamını botlara kapatır.

• Hassas içeriklerin korunacağını sanmak: Robots.txt, içerikleri gizlemez, sadece taranmasını engeller. Güvenlik için yeterli değildir.

• Her botun kurallara uymasını beklemek: İyi niyetli botlar kurallara uysa da kötü amaçlı botlar bu kuralları dikkate almaz.

• Noindex içeren sayfaları disallow etmek: Eğer bir sayfaya hem noindex etiketi koyup hem de disallow ederseniz, Google bu etiketi göremez. Sayfayı taramadığı için noindex’i uygulayamaz.

Robots.txt SEO’ya Nasıl Katkı Sağlar?

• Arama motoru botlarının kaynakları gereksiz sayfalarla tüketmesini engeller

• Tarama bütçesini verimli kullanarak önemli içeriklerin dizine eklenmesini hızlandırır

• Yinelenen içerikleri sınırlandırarak site otoritesini artırır

• Site performansını artırabilir (özellikle büyük sitelerde)

Robots.txt Dosyasını Test Etme

Google Search Console üzerinden robots.txt test aracını kullanarak dosyanızın doğru çalışıp çalışmadığını test edebilirsiniz. Ayrıca taranmasını engellediğiniz sayfaların gerçekten dışarıdan erişilemediğinden emin olun.

Robots.txt dosyası küçük ama SEO açısından oldukça etkili bir araçtır. Doğru kullanıldığında arama motoru botlarının sitenizi daha verimli taramasını sağlar, sunucu yükünü azaltır ve SEO çalışmalarınızı destekler. Ancak yanlış kullanımı, sitenizin görünürlüğünü ciddi şekilde olumsuz etkileyebilir. Bu nedenle dikkatli ve bilinçli bir şekilde kullanılmalıdır.

Unutmayın, robots.txt dosyasının amacı gizlemek değil yönlendirmektir. Gerçek gizlilik ve güvenlik için farklı yöntemler tercih edilmelidir.