[Yazılar](https://ruesandora.com/tr/yazilar/) Rehber

# robots.txt'te izinli AI botunu Cloudflare engelliyor mu?

[Rues](https://ruesandora.com/tr/hakkinda) tarafından · Yayın: 18 Ekim 2026 · Güncelleme: 19 Ekim 2026

Kaynaklar 16 Ekim 2026 tarihinde kontrol edildi

Kısa cevap

Evet, olabilir. robots.txt botlara ne yapabileceklerini söyler; erişimi Cloudflare'in kuralları belirler. Cloudflare belgesine göre 15 Eylül 2026'dan itibaren yeni alan adlarında reklamlı sayfalarda Eğitim ve Ajan botları engellenir, Arama botlarına izin verilir. Mevcut sitelerin varsayılanı belgede yazmıyor. Ayarı Cloudflare panelinde 'AI bot politikaları' ve 'AI Crawl Control' bölümlerinden kontrol edin.

robots.txt dosyanızda OAI-SearchBot'a izin verdiniz. Yine de bot sitenize giremiyor olabilir. Çünkü isteği önce CDN ya da güvenlik katmanı görür, robots.txt'e sonra bakılır. Bu yazıda Cloudflare örneğiyle neye bakmanız gerektiğini anlatıyoruz.

## robots.txt ile CDN kuralı aynı şey mi?

Hayır. robots.txt bir istektir: "şu bot şuraya girebilir, şuraya giremez." Botun uyması gönüllüdür. Cloudflare belgesi de bunu açıkça yazıyor: robots.txt uyumu gönüllüdür ve dosya tarayıcıların içeriğe erişmesini teknik olarak durdurmaz.

Engellemeyi zorlayan şey Cloudflare'in güvenlik kurallarıdır. Yani iki katman var:

| Katman | Ne yapar | Kimin elinde |
| --- | --- | --- |
| robots.txt | Botlara tercihinizi bildirir | Siz yazarsınız, bot uyarsa işe yarar |
| Cloudflare kuralı (bot politikası, AI Crawl Control) | İsteği kapıda keser | Cloudflare panelinden |

robots.txt'te "izin" yazıp Cloudflare'de "engelle" seçtiyseniz, kapıdaki kural geçerli olur. Bot, robots.txt dosyasını okuyup izin gördüğü hâlde sayfaya giremeyebilir. Bu çelişkinin sayfa bazında nasıl çözüldüğünü Cloudflare belgesinde bulamadık; kendi sitenizde denemeden varsaymayın.

## Cloudflare AI botlarını nasıl sınıflıyor?

Cloudflare tek bir "AI botu" etiketi kullanmıyor; botları davranışa göre sınıflıyor. Belgedeki üç davranış:

- **Arama (Search):** İçeriği sonra soru cevaplamak için indeksler.
- **Ajan (Agent):** Bir kişi adına gerçek zamanlı iş yapar. Örnek: sohbet botlarının sayfa çekmesi, tarayıcı kullanan ajanlar.
- **Eğitim (Training):** Modeli eğitmek ya da ince ayar yapmak için içerik toplar.

Bir bot birden fazla davranışa sahip olabilir. Belgeye göre 1 Temmuz 2026'dan beri AI arama tarayıcıları "Arama" olarak sınıflanıyor.

Her kategori için üç seçenek var: tüm sayfalarda engelle, reklamlı sayfalarda engelle, izin ver. Ayar: **Security Settings > Configure AI bot policies**.

## 15 Eylül 2026 varsayılanı ne?

Cloudflare belgesine göre 15 Eylül 2026'dan itibaren yeni alan adlarında Eğitim ve Ajan botları, reklam gösteren sayfalarda engellenir; Arama botlarına izin verilir. Karışık amaçlı tarayıcılar (hem eğitim hem arama yapanlar) her eğitim yapılandırmasında engellenir. Eski "Block AI bots" ayarı da 15 Eylül 2026'da kullanımdan kalkıyor.

Mevcut (eski) alan adlarının varsayılanı belgede yazmıyor: doğrulanamadı. Bu yüzden "bizde sorun yok" demeyin, panelde kendi ayarınıza bakın.

Önemli bir ayrıntı: Ajan kategorisi, kullanıcı isteğiyle sayfa çeken botları da kapsıyor olabilir. ChatGPT-User ve Perplexity-User gibi kullanıcı botları ayrı bir konu; robots.txt'i nasıl ele aldıklarını ve gizli sayfanın nasıl korunacağını [ayrı bir yazıda](https://ruesandora.com/tr/yazilar/kullanici-botlari-robots-txt) anlattık.

## Cloudflare'in yönettiği robots.txt

Cloudflare, tercihlerinize göre robots.txt içeriği üreten bir özellik sunuyor (Managed robots.txt). Belgeye göre:

- Varsayılan değil; Eğitim politikasını "Disallow" yapıp Bot Preference Sync'i açarak çalışır.
- Bilinen AI tarayıcıları (GPTBot, ClaudeBot, CCBot, Bytespider gibi) için `Disallow` satırları ekler.
- Sizin robots.txt'iniz varsa Cloudflare kendi satırlarını dosyanızın başına ekler. Yoksa yeni dosya üretir.
- Eğitim "Disallow" iken eğitim tarayıcıları için uçta engelleme de açılır (karışık amaçlı tarayıcılar hariç).

Yani canlı robots.txt'iniz, kaynak sunucudaki dosyadan farklı olabilir. Kontrol için tarayıcıda `alanadiniz.com/robots.txt` açın; sunucudaki dosya değil, bota gösterilen dosyayı görürsünüz.

## AI Crawl Control ne yapıyor?

Cloudflare'in AI Crawl Control bölümünde her AI tarayıcısı için izin ver ya da engelle seçebilirsiniz. Belgeye göre:

- "Engelle" seçilince Cloudflare sitenizde bir WAF özel kuralı oluşturur ya da günceller.
- Ücretli planlarda cevap kodu 403 ya da 402 olarak seçilebilir.
- Tablo, her tarayıcının robots.txt'inizi kaç kez ihlal ettiğini gösterir.
- Ücretsiz planda tespit, kendini tanıtan tarayıcıların user-agent metnine dayanır.
- Başarısız bir istek yalnızca bu bölümden gelmeyebilir; başka bir kural ya da sunucu hatası da sebep olabilir.

"İzin ver" seçmek, başka bir WAF kuralının aynı botu yine de engellemeyeceğini garanti etmez; belge bu etkileşimi anlatmıyor.

## Kontrol listesi

1. `alanadiniz.com/robots.txt` adresini açın. Cloudflare satırları var mı?
2. Cloudflare'de **Security > Bots** altında AI bot politikalarını açın. Arama kategorisi "izin" mi?
3. **AI Crawl Control** bölümünde izin verdiğiniz botlar engelli mi?
4. WAF özel kurallarınızda ve ülke ya da IP kısıtlarında bu botları kesen kural var mı?
5. Sunucu günlüğünde (ya da Cloudflare günlüğünde) bu botun user-agent'ı için 403 var mı? Gerçek ziyareti sahtesinden ayırmak için botların yayımladığı IP listelerini kullanın: OpenAI her bot için ayrı bir JSON listesi yayımlıyor, Perplexity de öyle.
6. Değişiklikten sonra beklemek gerekebilir: OpenAI ve Perplexity belgeleri, robots.txt değişikliklerinin sistemlerine yansımasının 24 saate kadar sürebileceğini yazıyor.

İzin vermek istediğiniz botu Cloudflare'de açıkça izin listesine almak için Perplexity belgesi şu yöntemi öneriyor: user-agent ve yayımlanan IP aralığını birlikte eşleştiren, eylemi "Allow" olan özel kural. Aynı belge, IP listelerini resmî JSON adreslerinden güncel tutmayı ve değişiklikten sonra günlükleri izlemeyi söylüyor. user-agent tek başına yetmez: kolayca taklit edilir.

## Ruescan bu konuda ne gösteriyor?

Site tarayıcımız Ruescan henüz açık değil (bekleme listesi ana sayfada açık). Açıldığında robots.txt dosyasında hangi AI botuna izin verildiğini, engellendiğini ya da hiç belirtilmediğini gösterecek. Bu, "dosyada ne yazıyor" sorusunun cevabıdır. CDN ya da güvenlik duvarının botu gerçekten içeri alıp almadığı ayrı bir sorudur; onu yukarıdaki kontrol listesiyle kendi panelinizde bakmanız gerekir.

## Sık sorulan sorular

### robots.txt'te izin verdim, neden bot gelmiyor?

Birkaç sebebi olabilir: CDN ya da güvenlik kuralı botu kesiyor olabilir, bot sitenizi henüz taramamış olabilir ya da değişiklik sisteme henüz yansımamış olabilir. Önce Cloudflare ayarlarına ve sunucu günlüğüne bakın.

### Cloudflare kullanmıyorum, bu yazı beni ilgilendirir mi?

Aynı mantık her CDN ve güvenlik duvarı için geçerli: robots.txt tercihtir, kapıdaki kural zorlayıcıdır. Menü adları farklıdır; biz yalnızca Cloudflare belgesini okuduk.

### Arama botuna izin verirsem eğitim botuna da izin vermiş olur muyum?

Hayır. OpenAI belgesi her ayarın bağımsız olduğunu yazıyor. Ancak hem OAI-SearchBot hem GPTBot'a izin verirseniz OpenAI iki amaç için tek tarama kullanabilir. Ayrıntı için [AI botları için robots.txt yazımıza](https://ruesandora.com/tr/yazilar/ai-botlari-icin-robots-txt) bakın.

### Eski "Block AI bots" ayarı açıksa ne olur?

Belgeye göre bu eski ayar eğitim amaçlı doğrulanmış botları engeller ve karışık amaçlı botları kapsamaz. Ayar 15 Eylül 2026'da kullanımdan kalkıyor; yeni politikalara geçişin ayrıntısını Cloudflare panelinde kontrol edin.

## Kaynaklar

Kaynaklar 16 Ekim 2026'da okundu.

- Cloudflare, Block AI bots: [developers.cloudflare.com/bots/additional-configurations/block-ai-bots](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)
- Cloudflare, Bots: bot kavramları ve davranış sınıfları: [developers.cloudflare.com/bots/concepts/bot](https://developers.cloudflare.com/bots/concepts/bot/)
- Cloudflare, Managed robots.txt: [developers.cloudflare.com/bots/additional-configurations/managed-robots-txt](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/)
- Cloudflare, AI Crawl Control, tarayıcıları yönetme: [developers.cloudflare.com/ai-crawl-control/features/manage-ai-crawlers](https://developers.cloudflare.com/ai-crawl-control/features/manage-ai-crawlers/)
- Cloudflare, Verified bots: [developers.cloudflare.com/bots/concepts/bot/verified-bots](https://developers.cloudflare.com/bots/concepts/bot/verified-bots/)
- OpenAI, tarayıcı belgesi: [developers.openai.com/api/docs/bots](https://developers.openai.com/api/docs/bots)
- Perplexity, tarayıcı belgesi: [docs.perplexity.ai](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)

Doğrulanamayanlar: Mevcut alan adlarının varsayılan AI bot ayarı; "izin" ile "engelle" çakışınca hangi kuralın öncelikli olduğu; panel menü adlarının planlara göre farkı.

## Bu konuyu kendi markanız için konuşalım mı?

Markanızı ya da projenizi ve ne yapmak istediğinizi yazın. Mesaj doğrudan Rues'a gider.

[İletişim formunu aç](https://ruesandora.com/tr/#iletisim)

[E-posta info@ruesandora.com](mailto:info@ruesandora.com) [Telegram ruesandora](https://t.me/ruesandora) [X @ruesandora0](https://x.com/ruesandora0) [Instagram @ruesandora0](https://www.instagram.com/ruesandora0) [YouTube @ruesandora0](https://www.youtube.com/@ruesandora0)

Page: https://ruesandora.com/tr/yazilar/cloudflare-ai-bot-engeli