robots.txt'te izinli AI botunu Cloudflare engelliyor mu?

robots.txt dosyanızda OAI-SearchBot'a izin verdiniz. Yine de bot sitenize giremiyor olabilir. Çünkü isteği önce CDN ya da güvenlik katmanı görür, robots.txt'e sonra bakılır. Bu yazıda Cloudflare örneğiyle neye bakmanız gerektiğini anlatıyoruz.

robots.txt ile CDN kuralı aynı şey mi?

Hayır. robots.txt bir istektir: "şu bot şuraya girebilir, şuraya giremez." Botun uyması gönüllüdür. Cloudflare belgesi de bunu açıkça yazıyor: robots.txt uyumu gönüllüdür ve dosya tarayıcıların içeriğe erişmesini teknik olarak durdurmaz.

Engellemeyi zorlayan şey Cloudflare'in güvenlik kurallarıdır. Yani iki katman var:

robots.txt'te "izin" yazıp Cloudflare'de "engelle" seçtiyseniz, kapıdaki kural geçerli olur. Bot, robots.txt dosyasını okuyup izin gördüğü hâlde sayfaya giremeyebilir. Bu çelişkinin sayfa bazında nasıl çözüldüğünü Cloudflare belgesinde bulamadık; kendi sitenizde denemeden varsaymayın.

Cloudflare AI botlarını nasıl sınıflıyor?

Cloudflare tek bir "AI botu" etiketi kullanmıyor; botları davranışa göre sınıflıyor. Belgedeki üç davranış:

• Arama (Search): İçeriği sonra soru cevaplamak için indeksler.
• Ajan (Agent): Bir kişi adına gerçek zamanlı iş yapar. Örnek: sohbet botlarının sayfa çekmesi, tarayıcı kullanan ajanlar.
• Eğitim (Training): Modeli eğitmek ya da ince ayar yapmak için içerik toplar.

Bir bot birden fazla davranışa sahip olabilir. Belgeye göre 1 Temmuz 2026'dan beri AI arama tarayıcıları "Arama" olarak sınıflanıyor.

Her kategori için üç seçenek var: tüm sayfalarda engelle, reklamlı sayfalarda engelle, izin ver. Ayar: Security Settings > Configure AI bot policies.

15 Eylül 2026 varsayılanı ne?

Cloudflare belgesine göre 15 Eylül 2026'dan itibaren yeni alan adlarında Eğitim ve Ajan botları, reklam gösteren sayfalarda engellenir; Arama botlarına izin verilir. Karışık amaçlı tarayıcılar (hem eğitim hem arama yapanlar) her eğitim yapılandırmasında engellenir. Eski "Block AI bots" ayarı da 15 Eylül 2026'da kullanımdan kalkıyor.

Mevcut (eski) alan adlarının varsayılanı belgede yazmıyor: doğrulanamadı. Bu yüzden "bizde sorun yok" demeyin, panelde kendi ayarınıza bakın.

Önemli bir ayrıntı: Ajan kategorisi, kullanıcı isteğiyle sayfa çeken botları da kapsıyor olabilir. ChatGPT-User ve Perplexity-User gibi kullanıcı botları ayrı bir konu; robots.txt'i nasıl ele aldıklarını ve gizli sayfanın nasıl korunacağını ayrı bir yazıda anlattık.

Cloudflare'in yönettiği robots.txt

Cloudflare, tercihlerinize göre robots.txt içeriği üreten bir özellik sunuyor (Managed robots.txt). Belgeye göre:

• Varsayılan değil; Eğitim politikasını "Disallow" yapıp Bot Preference Sync'i açarak çalışır.
• Bilinen AI tarayıcıları (GPTBot, ClaudeBot, CCBot, Bytespider gibi) için Disallow satırları ekler.
• Sizin robots.txt'iniz varsa Cloudflare kendi satırlarını dosyanızın başına ekler. Yoksa yeni dosya üretir.
• Eğitim "Disallow" iken eğitim tarayıcıları için uçta engelleme de açılır (karışık amaçlı tarayıcılar hariç).

Yani canlı robots.txt'iniz, kaynak sunucudaki dosyadan farklı olabilir. Kontrol için tarayıcıda alanadiniz.com/robots.txt açın; sunucudaki dosya değil, bota gösterilen dosyayı görürsünüz.

AI Crawl Control ne yapıyor?

Cloudflare'in AI Crawl Control bölümünde her AI tarayıcısı için izin ver ya da engelle seçebilirsiniz. Belgeye göre:

• "Engelle" seçilince Cloudflare sitenizde bir WAF özel kuralı oluşturur ya da günceller.
• Ücretli planlarda cevap kodu 403 ya da 402 olarak seçilebilir.
• Tablo, her tarayıcının robots.txt'inizi kaç kez ihlal ettiğini gösterir.
• Ücretsiz planda tespit, kendini tanıtan tarayıcıların user-agent metnine dayanır.
• Başarısız bir istek yalnızca bu bölümden gelmeyebilir; başka bir kural ya da sunucu hatası da sebep olabilir.

"İzin ver" seçmek, başka bir WAF kuralının aynı botu yine de engellemeyeceğini garanti etmez; belge bu etkileşimi anlatmıyor.

Kontrol listesi

1. alanadiniz.com/robots.txt adresini açın. Cloudflare satırları var mı?
2. Cloudflare'de Security > Bots altında AI bot politikalarını açın. Arama kategorisi "izin" mi?
3. AI Crawl Control bölümünde izin verdiğiniz botlar engelli mi?
4. WAF özel kurallarınızda ve ülke ya da IP kısıtlarında bu botları kesen kural var mı?
5. Sunucu günlüğünde (ya da Cloudflare günlüğünde) bu botun user-agent'ı için 403 var mı? Gerçek ziyareti sahtesinden ayırmak için botların yayımladığı IP listelerini kullanın: OpenAI her bot için ayrı bir JSON listesi yayımlıyor, Perplexity de öyle.
6. Değişiklikten sonra beklemek gerekebilir: OpenAI ve Perplexity belgeleri, robots.txt değişikliklerinin sistemlerine yansımasının 24 saate kadar sürebileceğini yazıyor.

İzin vermek istediğiniz botu Cloudflare'de açıkça izin listesine almak için Perplexity belgesi şu yöntemi öneriyor: user-agent ve yayımlanan IP aralığını birlikte eşleştiren, eylemi "Allow" olan özel kural. Aynı belge, IP listelerini resmî JSON adreslerinden güncel tutmayı ve değişiklikten sonra günlükleri izlemeyi söylüyor. user-agent tek başına yetmez: kolayca taklit edilir.

Ruescan bu konuda ne gösteriyor?

Site tarayıcımız Ruescan henüz açık değil (bekleme listesi ana sayfada açık). Açıldığında robots.txt dosyasında hangi AI botuna izin verildiğini, engellendiğini ya da hiç belirtilmediğini gösterecek. Bu, "dosyada ne yazıyor" sorusunun cevabıdır. CDN ya da güvenlik duvarının botu gerçekten içeri alıp almadığı ayrı bir sorudur; onu yukarıdaki kontrol listesiyle kendi panelinizde bakmanız gerekir.

Sık sorulan sorular