30 sitenin 11'i neden ölçülemedi? Güvenlik duvarı ve tarama

Bir tarama aracı sitenize 403 alırsa ne olur? Puan çıkmaz. Biz bunu 30 Türk sitesini ölçerken yaşadık ve ilk listenin üçte birinden fazlası ölçülemedi. Bu yazı o ölçülemeyenleri anlatıyor: ne oldu, neyi bilmiyoruz ve kendi sitenizde bunu nasıl test edersiniz.

Ölçüm 19 Ekim 2026'da yapıldı. Ölçüm yayın gününde 10 günlük. Genel sonuçlar için 30 sitenin yapay zekâ hazırlığı yazısına bakın. Burada yalnız ölçülemeyen taraf var. Site adı vermiyoruz.

İlk listede ne oldu?

30 siteyi sekiz sektörden elle seçtik ve taramadan önce yazdık. Ruescan motorunu tek bir adresten, dürüst bir bot kimliğiyle çalıştırdık. Her siteye bir tarama, taramalar arasında 45 saniye bekleme.

11 ölçülemeyenin dağılımı:

Sektöre göre ölçülemeyenler: yerel hizmette 4 siteden 4'ü, e-ticarette 4'ten 3'ü, turizmde 3'ten 2'si, sağlıkta 3'ten 1'i, kamu ve eğitimde 4'ten 1'i. Haber, banka ve finans ve yazılım sitelerinin tamamı (12 site) ölçüldü.

Yedek sitelerle de aynısı oldu

Boşalan yuvaların yerine aynı sektörden yedek site aldık. İlk listeyle birlikte toplam 57 site denedik. 30'u ölçüldü, 27'si ölçülemedi.

57 denemenin 27'si, yani %47'si sonuç vermedi. Sektöre göre: e-ticarette 14 denemenin 10'u, turizmde 11'in 8'i, yerel hizmette 9'un 5'i, kamu ve eğitimde 6'nın 2'si, sağlıkta 5'in 2'si. Haber, banka ve finans ve yazılımda 12 denemenin hiçbiri başarısız olmadı.

Neden ölçülemediğini bilmiyoruz

Bir siteden 403 almak, o sitenin yapay zekâ botlarını engellediği anlamına gelmez. Reddin birkaç olası kaynağı var: isteğin geldiği adres, bot kimliği başlığı, istek hızı ya da güvenlik katmanının başka bir kuralı. Bunların hangisi olduğunu ölçmedik. Bu yüzden "bot engelledi" diye yazmıyoruz.

Bir deney daha yaptık. Tam taramanın başarısız olduğu 8 siteye yalnız robots.txt ve llms.txt için iki istek attık. Sekiz siteden yalnız biri robots.txt'i verdi. Altısı 403, biri zaman aşımı döndürdü. Yani tek bir küçük dosya isteği de çözmedi.

Ruescan'in "geçici" saydığı üç sitede ikinci koşu bile farklı çıktı. Bir kamu sitesi ilk koşuda 58, ikincide 36 aldı. İlk koşuda ulaşılamayan iki site ikinci koşuda sonuç verdi ama kapsam düşük kaldığı için puanları geçici sayıldı.

Ölçülemeyen site iyi mi, kötü mü?

İkisi de değil. Ruescan ölçülemeyen sinyali puana katmaz ve bunu kural olarak uygular. Ölçülemeyen bir siteye puan vermek için tahmin yürütmek gerekir. Biz yürütmüyoruz.

Bunun bir bedeli var. Ölçüm sonuçları isteğe açık sitelere kayıyor. Genel tablolarda "ortalama puan" yazıyorsa, o ortalamadan 27 site eksik. Bu yüzden 30 sitelik yazıda da bunu sınır olarak yazdık.

Siteniz tarama araçlarını geri çeviriyor mu, nasıl anlarsınız?

Kendi sitenizde iki istek atıp cevapları karşılaştırın. Terminalden:

curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0" https://siteniz.example/
curl -s -o /dev/null -w "%{http_code}\n" -A "BenimTarayici/1.0 (+https://siteniz.example/bot)" https://siteniz.example/

İki cevap aynıysa kimlik başlığı için ayrım yapılmıyor. Farklıysa güvenlik katmanınız bir kimliğe başka davranıyor. Sonra şunlara bakın:

1. https://siteniz.example/robots.txt adresini aynı iki yöntemle isteyin. Dosya text/plain ile ve 200 ile dönmeli.
2. Sunucu günlüğünde bot kimlikli isteklerin hangi kodla döndüğüne bakın. Gerçek botları sahte kimlikten ayırmak için günlükte yapay zekâ botlarını doğrulama yazısındaki adımları izleyin.
3. CDN ya da güvenlik duvarı kullanıyorsanız yapay zekâ botlarına varsayılan davranışını öğrenin: CDN yapay zekâ botlarını engelliyor mu.
4. Robots.txt'inizdeki kuralları AI botları için robots.txt rehberiyle karşılaştırın.

Bu iki komut yapay zekâ botlarının sitenize girip giremediğini kanıtlamaz. Yalnız bir betiğin ve tarayıcı kimliğinin aynı cevabı alıp almadığını gösterir.

Sık sorulan sorular