Teknik SEO dünyasında Google Search Console veya tarama araçları (crawler) bize “ne olduğunu” söylerken, Log Dosyası Analizi “neden olduğunu” ve “gerçekte ne yaşandığını” söyler. Log dosyaları, web sunucunuzun (Apache, Nginx, IIS vb.) tuttuğu ham kayıt defterleridir. Bir kullanıcı veya bir arama motoru botu sitenize her dokunduğunda, sunucu bu etkileşimi bir satır kod olarak kaydeder.
Log analizi yapmak, bir dedektif gibi arama motoru botlarının (Googlebot, Bingbot) ayak izlerini takip etmektir. Bu süreç, bot davranışlarını herhangi bir aracı yazılım olmadan, doğrudan kaynağından izlemenize olanak tanır.
1. Log Dosyası Nedir ve İçinde Ne Yazar?
Sunucu log dosyaları genellikle .log veya .txt formatındadır ve her satırı şu temel verileri içerir:
-
IP Adresi: İsteği yapanın kimliği.
-
Tarih ve Saat: İsteğin tam zamanı.
-
HTTP Metodu: Genellikle GET (sayfayı görüntüleme) veya POST (veri gönderme).
-
İstenen URL: Botun hangi sayfaya baktığı.
-
HTTP Durum Kodu: Sunucunun bota ne cevap verdiği (200, 301, 404, 500 vb.).
-
User-Agent: İsteği yapanın kim olduğunu beyan ettiği yer (Örn: “Googlebot/2.1″).
2. Neden Log Dosyası Analizi Yapmalısınız?
Üçüncü taraf SEO araçları sitenizi tararken kendi botlarını kullanır. Ancak Googlebot’un gerçekte hangi sayfaları ne sıklıkla ziyaret ettiğini sadece log dosyalarıyla %100 doğrulukla görebilirsiniz.
A. Gerçek Tarama Bütçesi (Crawl Budget) Takibi
Googlebot sitenizde ne kadar zaman harcıyor? Log analizi ile botun vaktini nerelerde “israf ettiğini” görebilirsiniz. Eğer bot, noindex verdiğiniz veya robots.txt ile kapattığınız sayfalara hala binlerce kez geliyorsa, ciddi bir bütçe sorununuz var demektir.
B. Tarama Önceliklerinin Tespiti
Google, sitenizdeki en değerli sayfaları gerçekten sık tarıyor mu? Eğer ana kategorileriniz haftada bir, ancak önemsiz blog etiketleriniz günde bin kez taranıyorsa, iç linkleme hiyerarşinizde bir sorun var demektir.
C. Hataların Anlık Teşhisi
Search Console’daki veriler bazen birkaç gün gecikmeli gelebilir. Log dosyaları ise gerçek zamanlıdır. Sunucuda oluşan 500 (Server Error) hatalarını veya ani 404 artışlarını botun gözünden anında yakalayabilirsiniz.
3. Log Analiz Süreci: Adım Adım Metodoloji
Log analizi yapmak, ham veriyi anlamlı bir SEO raporuna dönüştürme sürecidir.
Adım 1: Veri Toplama ve Temizleme
Sunucunuzdan son 30 ila 60 günlük log verilerini indirin. İlk yapmanız gereken, “insan” kullanıcıları ayıklayıp sadece “arama motoru botlarına” odaklanmaktır.
Adım 2: Bot Doğrulama (Verifying Bots)
Her “Googlebot” yazan istek gerçekten Google’a ait olmayabilir. Kötü niyetli yazılımlar kendilerini Googlebot gibi tanıtabilir. Log analizi sırasında IP adreslerinin ters DNS (Reverse DNS) sorgulamasıyla gerçekten Google’a ait olup olmadığını doğrulamak, verinin güvenliği için şarttır.
Adım 3: Durum Kodlarına Göre Gruplandırma
Botun karşılaştığı yanıtları kategorize edin:
-
%200 OK: Sağlıklı tarama.
-
%301/302: Yönlendirmeler. Bot buralarda çok vakit harcıyorsa yönlendirme zincirlerini kırmalısınız.
-
%404/410: Bulunamayan sayfalar. Botun sürekli olmayan sayfalara gelmesi bütçe israfıdır.
-
%500/503: Sunucu hataları. Botun siteyi tarayamadığı kritik anlardır.
4. Log Analizi ile Çözülebilecek Kritik Problemler
-
Taranmayan Sayfalar (Orphan Pages): Sitenizde var olan ama log kayıtlarında Googlebot’un hiç uğramadığı sayfaları bulun. Bu sayfalar ya hiç linklenmemiştir ya da Google tarafından “değersiz” görülmektedir.
-
Büyük Dosya Sorunları: Botun zamanını çalan devasa boyutlu görselleri veya ağır JavaScript dosyalarını tespit edin.
-
Mobil vs Masaüstü Bot Oranı: Google “Mobile-First Indexing” kullandığı için, loglarda Akıllı Telefon botunun (Googlebot Smartphone) masaüstü botuna göre çok daha aktif olduğunu görmelisiniz. Eğer tam tersiyse, sitenizin mobil uyumluluğunda teknik bir engel olabilir.
5. Log Analiz Araçları
Ham log dosyalarını manuel okumak (özellikle milyonlarca satır varsa) imkansızdır. Bu iş için şu araçlar kullanılır:
-
Screaming Frog Log File Analyser: Ham logları yükleyip görsel grafiklere döken profesyonel bir araç.
-
Semrush Log File Analyzer: Tarama hatalarını ve bot davranışlarını basit bir arayüzle sunar.
-
Excel / Google Sheets: Küçük siteler için filtreleme yöntemiyle manuel analiz yapılabilir.
Sonuç
Log dosyası analizi, teknik SEO’nun en ileri ve en “saf” aşamalarından biridir. Arama motoru botlarının sitenizdeki gerçek davranışlarını izlemek, varsayımları bir kenara bırakıp doğrudan kanıtlarla hareket etmenizi sağlar. Botun sitenize ne zaman geldiğini, neyi sevdiğini ve nerede takıldığını bildiğinizde, optimizasyon çalışmalarınız çok daha cerrahi ve etkili olacaktır.
Sitenizin dijital röntgenini çekerken log dosyalarına bakmak, aslında botun kalbinin nasıl attığını dinlemek gibidir. Bu derinlikteki bir analiz, rakiplerinizin göremediği teknik avantajları yakalamanıza olanak tanır.
