Yapay Zeka Bot Trafiğini Anlamak: ChatGPT ve AI Crawler’ları Nasıl İzlenir?

Sitenizin trafiğinde artık iki tür ziyaretçi var: insanlar ve yapay zeka sistemleri. İkincisi hızla büyüyor, çoğu analitik kurulumunda görünmüyor ve yanlış okunduğunda hem trafik raporunu hem bütçe kararlarını bozuyor.

Hangi botlar geliyor?

AI botları tek bir grup değil; en az üç farklı işi yapıyorlar ve ayrı ayrı ele alınmaları gerekiyor.

• Eğitim botları (GPTBot, ClaudeBot, CCBot, Google-Extended): modelleri eğitmek için içerik toplar. Ziyaretçi getirmez.
• Arama botları (OAI-SearchBot, PerplexityBot): yapay zeka arama ürünlerinin dizinini besler. Bu dizinde olmak, cevaplarda kaynak gösterilmenin ön koşuludur.
• Kullanıcı tetikli botlar (ChatGPT-User, Claude-User, Perplexity-User): bir insan o an bir soru sorduğu için sitenize gelirler. Bunlar gerçek talebin sinyalidir.

Neden JavaScript tabanlı analitikte görünmezler?

Google Analytics, sayfaya gömülü JavaScript çalıştığında veri gönderir. AI botlarının büyük kısmı JavaScript çalıştırmaz; HTML’i alır ve gider. Yani GA4 panelinizde bu trafiğin neredeyse tamamı yoktur. Bu bir eksiklik değil, tasarım gereğidir; ama bot trafiğini ölçmek istiyorsanız başka bir yere bakmanız gerektiği anlamına gelir.

Nereye bakmalı?

• Sunucu erişim kayıtları (access log). Tek gerçek kaynak burasıdır. User-agent alanına göre süzüp gün gün saymak, elinizdeki en dürüst veridir.
• CDN veya güvenlik katmanı raporları. Cloudflare gibi katmanlar bot sınıflandırmasını hazır sunar.
• Search Console ve Bing Webmaster. Klasik arama tarafındaki tarama davranışını gösterir; AI botlarıyla karşılaştırmak için iyi bir referanstır.
• llms.txt ve robots.txt isabet kayıtları. Hangi botun kuralları okuduğunu ve uyduğunu buradan görürsünüz.

Bir botun sitenizi taraması, sizi cevaplarda kaynak göstereceği anlamına gelmez. Ama taramaması, kesinlikle göstermeyeceği anlamına gelir.

Bu trafikle ne yapılır?

Üç ayrı karar çıkar. Birincisi teknik: eğitim botlarına izin verip vermeyeceğiniz bir marka ve hukuk kararıdır, robots.txt üzerinden yönetilir. İkincisi altyapı: yoğun tarama sunucu kaynağı tüketir, önbellek ve hız limitleri buna göre ayarlanır. Üçüncüsü içerik: kullanıcı tetikli botların hangi sayfalara geldiğini görmek, insanların yapay zekaya sizinle ilgili ne sorduğunu gösteren dolaylı ama değerli bir sinyaldir.

Basit bir izleme kurulumu

Erişim kayıtlarını haftalık olarak user-agent bazında süzüp üç sütunlu bir tablo tutmak çoğu marka için yeterlidir: bot adı, istek sayısı, en çok istenen beş URL. Bu tablo üç ay biriktiğinde hangi içeriklerin yapay zeka tarafında karşılık bulduğu net görünür hale gelir.

Özet

AI bot trafiği ölçülmeden yönetilemez ve GA4 bu işi yapmaz. Sunucu kayıtlarından başlayan basit bir haftalık takip, hem altyapı maliyetini hem içerik stratejisini doğru temele oturtur.

Sitenizin AI botlarına nasıl göründüğünü merak ediyorsanız erişim kayıtlarınız üzerinden bir tarama analizi çıkarabiliriz.