Web sitenizin Google sıralamalarında üst sıralara çıkmasını sağlayacak teknik SEO optimizasyonları, içerik stratejileri ve site içi düzenlemelerle markanızın çevrimiçi görünürlüğünü artırır.

İletişim Bilgilerimiz

Teklif İste

Blog Details

Robots.txt Yapılandırmasında Kritik Hatalar

  • Written by: admin
  • Nisan 22, 2026
  • Comments: (0)

Web sitenizin arama motoru görünürlüğü söz konusu olduğunda, robots.txt dosyası genellikle ilk savunma hattı veya—yanlış yapılandırılırsa—en büyük engeldir. Sadece birkaç satırlık bir metin dosyası gibi görünse de, bu dosya Googlebot ve diğer örümceklerin sitenizi nasıl “anladığını” ve bütçenizi nasıl harcadığını belirler.

Bu kapsamlı rehberde, robots.txt dosyasındaki yaygın hataları, bu hataların SEO üzerindeki yıkıcı etkilerini ve doğru yapılandırma stratejilerini detaylandıracağız.

1. Robots.txt Nedir ve Neden Hayatidir?

Robots.txt, Robot Engelleme Standardı (Robots Exclusion Protocol) protokolünün bir parçasıdır. Temel amacı, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini (crawl) ve hangi bölümlerinden uzak durmaları gerektiğini söylemektir.

Önemli Not: Robots.txt bir güvenlik aracı değildir. Sadece “iyi niyetli” botlara yol gösterir; kötü amaçlı yazılımlar bu dosyayı genellikle görmezden gelir.

2. En Sık Yapılan ve En Tehlikeli 7 Robots.txt Hatası

Bir web yöneticisinin yapabileceği en küçük yazım hatası, sitenin tüm dizinlerden silinmesine neden olabilir. İşte kaçınmanız gereken kritik hatalar:

A. Tüm Siteyi Taramaya Kapatmak (Disallow: /)

En klasik ve en yıkıcı hatadır. Genellikle test aşamasındaki (staging) sitelerde unutulan bu komut, sitenizin Google dizininden tamamen kaybolmasına neden olur.

  • Hatalı Kullanım:

    Plaintext

    User-agent: *
Disallow: /

  • Sonuç: Arama motorları sitenizin ana sayfasını dahi tarayamaz.

B. JavaScript ve CSS Dosyalarını Engellemek

Eski SEO anlayışında sadece metin odaklı tarama yapılırdı. Ancak günümüzde Google, bir sayfayı tıpkı bir kullanıcı gibi “render” eder (görselleştirir). Eğer CSS ve JS dosyalarınızı engellerseniz, Google sayfanın düzenini ve işlevselliğini anlayamaz.

  • Risk: Mobil uyumluluk hataları ve düşük sıralama. Googlebot, sayfanın “bozuk” olduğunu düşünebilir.

C. Parametreli URL’leri Yanlış Yönetmek

E-ticaret sitelerinde filtreleme ve sıralama (sorting) için kullanılan URL parametreleri (örneğin: ?color=blue&sort=price) taranma bütçesini hızla tüketir.

  • Hata: Tüm parametreleri engellemek yerine, Google Search Console üzerinden “URL Parametreleri” aracını kullanmamak veya robots.txt’te çok geniş kapsamlı kısıtlamalar getirmek.

D. Büyük-Küçük Harf Duyarlılığını Unutmak

Robots.txt dosyası ve içindeki dizin yolları vaka duyarlıdır (case-sensitive).

  • Hata: /Admin/ klasörünü engellemek isteyip /admin/ yazarsanız, botlar /Admin/ klasörünü taramaya devam eder.

E. Robots.txt Dosyasını “Noindex” Aracı Olarak Kullanmak

Bu, SEO dünyasındaki en büyük yanlış anlamalardan biridir. Robots.txt, bir sayfanın dizine eklenmesini (indexing) değil, taranmasını (crawling) engeller.

  • Gerçek: Eğer harici bir site o sayfaya link verirse, Google o sayfayı robots.txt ile engellenmiş olsa bile “başlıksız” bir şekilde dizine ekleyebilir. Sayfayı dizinden tamamen kaldırmak için <meta name="robots" content="noindex"> etiketi kullanılmalıdır.

F. Sitemap (Site Haritası) Yolunu Belirtmemek

Botların sitenizin yapısını daha hızlı çözmesi için robots.txt dosyasının en altına sitemap linkini eklemek altın kuraldır.

  • Doğru Örnek: Sitemap: https://www.siteadiniz.com/sitemap_index.xml

G. Çakışan Komutlar (Allow vs. Disallow)

Aynı dizin için hem Allow hem de Disallow kullanmak botların kafasını karıştırabilir. Google genellikle en spesifik olan kuralı seçer, ancak bu durum gereksiz risk oluşturur.

3. Taranma Bütçesi (Crawl Budget) Optimizasyonu

Büyük siteler için Google’ın ayırdığı bir “taranma bütçesi” vardır. Googlebot sitenizde sonsuza kadar kalmaz.

  • Önemsiz Sayfalar: Sepet sayfası, üye giriş sayfaları, arama sonuç sayfaları (internal search) mutlaka engellenmelidir.

  • Yinelenen İçerik: Filtreler sonucu oluşan binlerce benzer sayfa engellenerek botun “anahtar” sayfalara (Ürünler, Blog Yazıları) odaklanması sağlanmalıdır.

4. Teknik Yapılandırma Rehberi: İdeal Bir Robots.txt Nasıl Olmalı?

Her sitenin ihtiyacı farklıdır ancak standart bir WordPress sitesi için güvenli bir şablon şöyledir:

Plaintext

User-agent: *
# Sistem dosyalarını koru
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Önemli olmayan sayfaları engelle
Disallow: /search/
Disallow: /checkout/
Disallow: /cart/

# Site haritasını göster
Sitemap: https://www.siteadiniz.com/sitemap_index.xml

5. Hataları Nasıl Tespit Eder ve Onarırsınız?

Hataları manuel olarak bulmak zordur. Şu araçları kullanmalısınız:

  1. Google Search Console (Robots.txt Test Aracı): Dosyanızın Google tarafından nasıl görüldüğünü ve bir URL’nin engellenip engellenmediğini test eder.

  2. Screaming Frog: Sitenizi tararken robots.txt tarafından engellenen URL’leri raporlar.

  3. Log Dosyası Analizi: Botların sitenize gelip nerede takıldığını veya hangi engellenen kısımları zorladığını görmenizi sağlar.

6. Özet ve Sonuç

Robots.txt yapılandırması, “ayarla ve unut” mantığıyla yaklaşılmaması gereken dinamik bir süreçtir. Yapılan bir hata, organik trafiğinizin %90’ını bir gecede kaybetmenize neden olabilir.

Kritik Kontrol Listesi:

  • Disallow: / komutunun canlı sitede olmadığından emin olun.

  • Sitemap yolunuzun doğruluğunu kontrol edin.

  • Önemli JS ve CSS dosyalarınızın erişilebilir olduğunu doğrulayın.

  • “Noindex” yapmak istediğiniz sayfaları robots.txt ile değil, meta etiketlerle yönetin.

Doğru yapılandırılmış bir robots.txt, arama motoru botlarına kırmızı halı sermek gibidir; onları doğrudan değerli içeriğinize yönlendirir ve SEO başarınızı katlar.

Share: