ChatGPT-User robots.txt'i yok sayarsa sayfa nasıl korunur?

Bir kullanıcı ChatGPT'ye "şu adresi oku" dediğinde ChatGPT-User sayfanızı çeker. robots.txt'te yasaklamış olsanız bile. Bu yazıda hangi botun ne dediğini ve gerçekten gizli kalması gereken sayfanın nasıl korunacağını anlatıyoruz.

Kullanıcı botu nedir?

AI şirketlerinin botları üç iş yapar: arama için indeksler, model eğitimi için toplar ya da bir kullanıcı sorusuna cevap vermek için o anda sayfa çeker. Üçüncüsüne "kullanıcı botu" diyoruz. Otomatik gezmez; bir kişi istediği için çalışır.

Hangi şirket ne diyor?

Birebir alıntılar, OpenAI ve Perplexity belgelerinden: OpenAI "ChatGPT-User is not used for crawling the web in an automatic fashion" diyor ve bunun aramada yer almayı belirlemediğini ekliyor. Perplexity, Perplexity-User'ın web taraması ya da eğitim verisi toplama için kullanılmadığını yazıyor.

Anthropic'in belgesi daha farklı: botlarının robots.txt yönergelerine uyduğunu ve Crawl-delay'i desteklediğini yazıyor. Yani şirketler aynı davranışı sergilemiyor. Her birinin belgesini ayrı okuyun; bu belgeler değişebilir.

"Yok sayar" ne demek, ne demek değil?

• Bot sayfanıza normal bir ziyaretçi gibi girer. Yalnızca bir kullanıcı o adresi verdiğinde.
• Bu, botun siteyi toplu gezdiği ya da eğitim verisi topladığı anlamına gelmez. Şirketlerin belgeleri aksini söylüyor.
• Adresi bilmeyen bot sayfaya ulaşamaz. Asıl risk, adresin bir kullanıcıya ulaşması.

Gizli sayfa nasıl korunur?

Google'ın robots.txt rehberi şunu yazıyor: robots.txt, bir sayfayı Google'dan uzak tutma mekanizması değildir; sayfayı Google'dan uzak tutmak için noindex kullanın ya da sayfayı şifreyle koruyun. Aynı mantık AI botları için de geçerli.

Güvenlik duvarında bot kesmek istiyorsanız yalnız user-agent'a güvenmeyin; metin taklit edilebilir. OpenAI, Perplexity ve Anthropic botlarının IP listelerini JSON olarak yayımlıyor (ChatGPT-User için openai.com/chatgpt-user.json, Perplexity-User için perplexity-user.json). Anthropic ise IP engellemeyi güvenilir bir vazgeçme yolu olarak önermiyor: bu yöntemin "düzgün çalışmayabileceğini" yazıyor.

Dikkat: bir kullanıcı botunu engellerseniz, o botu kullanan kişi sizin sayfanızı cevapta kullandıramaz. Anthropic de bunun kullanıcı odaklı aramada görünürlüğü azaltabileceğini söylüyor. Bu bir ödünleşim; gizli olmayan sayfalarda engel koymak çoğunlukla gereksiz.

Cloudflare kullanıyorsanız

Cloudflare'de AI botları "Ajan" kategorisinde de olabilir; bu kategori gerçek zamanlı, kişi adına çalışan botları kapsıyor. Ayarlar ve çakışmalar için Cloudflare yazımıza bakın.

Ruescan bu konuda ne gösteriyor?

Ruescan, robots.txt dosyasında her AI botu için "izin", "engel" ya da "belirtilmemiş" durumunu gösterir. Bu, tercihinizi gösterir; kullanıcı botlarının o tercihe uyup uymadığını göstermez. Gizli sayfa için yukarıdaki yöntemlerden birini kullanmanız gerekir. Kayıt gerekmiyor.

Sık sorulan sorular