Cloudflare AI bot engeli nasıl kapatılır? (gizli 403 sorunu)

Cloudflare · WAF · Bot yönetimi

Kısaca: Cloudflare Temmuz 2025'ten itibaren yeni sitelerde AI tarayıcılarını varsayılan engelliyor ve Bot Fight Mode da benzer davranış gösterebiliyor — site sahibi robots.txt'nin açık olduğunu sanırken edge'de 403 dönülüyor. Doğrulaması bir curl komutudur, kapatması Cloudflare panelde üç dakikadır.

Sorun neden 'gizli'?

Çünkü iki ayrı katman var: sitenizin beyanı (robots.txt — sizin yazdığınız) ve ağın davranışı (Cloudflare WAF/bot kuralları — sizin görmediğiniz). robots.txt'te hiçbir engel olmasa bile edge katmanı bot'a 403 Forbidden veya challenge sayfası döndürebilir. Siz tarayıcıdan siteyi açınca her şey normal görünür — sorun yalnızca bot UA'sıyla gelen istekte patlar.

Engel var mı — bir dakikada doğrulayın

Terminalde sırayla iki istek atın:

curl -s -o /dev/null -w "%{http_code}" https://siteniz.com/ — normal isteğiniz 200 dönmeli.
curl -s -o /dev/null -w "%{http_code}" -A "OAI-SearchBot" https://siteniz.com/ — aynı sayfa 403/503 dönüyorsa edge engeli vardır.

Diğer botlarla da deneyin: -A "ChatGPT-User", -A "ClaudeBot", -A "PerplexityBot". Hangisinin engellendiğini görmek hangi kuralın çalıştığını anlamaya yardımcı olur. Taramamız bunu beş bot için otomatik yapar.

Cloudflare'de kapatma adımları

AI Audit: Cloudflare dashboard → siteniz → Security/AI bölümündeki AI tarayıcı kontrollerine bakın — "Block AI bots" açıksa ve görünürlük istiyorsanız kapatın.
Bot Fight Mode: Security → Bots altında — bilinen botları agresif şekilde challenge'lar; ihtiyaç yoksa kapatın veya "Definitely automated" yerine daha yumuşak moda alın.
WAF kuralları: Security → WAF → Custom rules'ta user-agent bazlı blok kuralı var mı kontrol edin; arama botlarını açıkça skip eden bir kural ekleyebilirsiniz.
Super Bot Fight Mode: ücretli planda "verified bots" ayrımı vardır — doğrulanmış arama botlarına izin verin.

Engellemek istiyorsanız da bu makale sizin için

Tersine — AI botlarını bilinçli engellemek de meşru bir tercih (içerik lisansı, bant genişliği). Önemli olan engelin sizin seçiminiz olması: robots.txt'e yazarak (beyan) veya WAF kuralıyla (zorlama) bilerek yapmak ile farkında olmadan kapalı kalmak arasında fark var. Tarama her iki durumu da ayrı raporlar.

Taramada ilgili kontrol: AI/arama botlarına edge engeli (AI-EDGE-PROBE)
Sitenizde bu durumu teknik olarak ölçeriz — bulgu kanıtıyla rapora düşer.

Sık sorulanlar

robots.txt'te Disallow yok ama botlar yine engelleniyor, normal mi?

Evet ve en sık karşılaşılan gizli sorundur — robots.txt sadece beyandır; Cloudflare gibi edge katmanları ondan bağımsız engeller.

Cloudflare kullanmıyorum ama aynı sorun olabilir mi?

Evet — diğer CDN'ler, hosting WAF'ları ve Wordfence gibi CMS güvenlik eklentileri de benzer engeller üretir. Doğrulama komutu aynıdır.

Engeli kaldırınca hemen AI'da çıkar mıyım?

Hemen değil — botların sitenizi yeniden keşfetmesi ve motorların içeriği işlemesi zaman alır. Engel kalkması ön şarttır, sonuç garantisi değildir.

Sitenizi ücretsiz test edin Araştırma verisi

Bu sayfa teknik uygulama bilgisidir; sıralama veya AI citation garantisi iddia edilmez.