StoreCheck Görünürlük · Nasıl yapılır

Cloudflare AI bot engeli nasıl kapatılır?

Kısaca: Cloudflare 15 Eylül 2026'da tek 'Block AI bots' anahtarını üç kontrole ayırdı — Search, Training, Agent — ve yeni domainlerde varsayılanlar değişti: reklamlı sitelerde eğitim/ajan engeli açık ama arama botları serbest; diğer sitelerde hepsi serbest. Eski hesaplarda ve Bot Fight Mode'da ise sessiz engel hâlâ yaygın — robots.txt açıkken edge'de 403. Doğrulaması bir curl komutudur.

15 Eylül 2026'da ne değişti?

Cloudflare'in duyurusu üç parça: (1) Disallow AI Training — Apple, Google ve Microsoft'un "Accountable" karma-amaçlı botları aramada kalır ama eğitime izin vermez; (2) Bot Preference Sync — paneldeki tercihinizi robots.txt'nize otomatik yazar; (3) "Block AI bots" yerine üç ayrı kontrol: Search, Training, Agent. Yeni domain varsayılanları: reklam taşıyan sitelerde Search açık, Training kapalı, Agent yalnız reklamlı sayfalarda kapalı; diğer sitelerde üçü de açık. Eski domainlerde ve elinizle açılmış kurallarda durum farklı olabilir — varsaymayın, ölçün.

Sorun neden 'gizli'?

Çünkü iki ayrı katman var: sitenizin beyanı (robots.txt — sizin yazdığınız) ve ağın davranışı (Cloudflare WAF/bot kuralları — sizin görmediğiniz). robots.txt'te hiçbir engel olmasa bile edge katmanı bot'a 403 Forbidden veya challenge sayfası döndürebilir. Siz tarayıcıdan siteyi açınca her şey normal görünür — sorun yalnızca bot UA'sıyla gelen istekte patlar.

Engel var mı — bir dakikada doğrulayın

Terminalde sırayla iki istek atın:

• curl -s -o /dev/null -w "%{http_code}" https://siteniz.com/ — normal isteğiniz 200 dönmeli.
• curl -s -o /dev/null -w "%{http_code}" -A "OAI-SearchBot" https://siteniz.com/ — aynı sayfa 403/503 dönüyorsa edge engeli vardır.

Diğer botlarla da deneyin: -A "ChatGPT-User", -A "ClaudeBot", -A "PerplexityBot". Hangisinin engellendiğini görmek hangi kuralın çalıştığını anlamaya yardımcı olur. Taramamız bunu beş bot için otomatik yapar.

Cloudflare'de kapatma adımları

• AI Audit: Cloudflare dashboard → siteniz → Security/AI bölümündeki AI tarayıcı kontrollerine bakın — "Block AI bots" açıksa ve görünürlük istiyorsanız kapatın.
• Bot Fight Mode: Security → Bots altında — bilinen botları agresif şekilde challenge'lar; ihtiyaç yoksa kapatın veya "Definitely automated" yerine daha yumuşak moda alın.
• WAF kuralları: Security → WAF → Custom rules'ta user-agent bazlı blok kuralı var mı kontrol edin; arama botlarını açıkça skip eden bir kural ekleyebilirsiniz.
• Super Bot Fight Mode: ücretli planda "verified bots" ayrımı vardır — doğrulanmış arama botlarına izin verin.

Engellemek istiyorsanız da bu makale sizin için

Tersine — AI botlarını bilinçli engellemek de meşru bir tercih (içerik lisansı, bant genişliği). Önemli olan engelin sizin seçiminiz olması: robots.txt'e yazarak (beyan) veya WAF kuralıyla (zorlama) bilerek yapmak ile farkında olmadan kapalı kalmak arasında fark var. Tarama her iki durumu da ayrı raporlar.

Sık sorulanlar

robots.txt'te Disallow yok ama botlar yine engelleniyor, normal mi?

Evet ve en sık karşılaşılan gizli sorundur — robots.txt sadece beyandır; Cloudflare gibi edge katmanları ondan bağımsız engeller.

Cloudflare kullanmıyorum ama aynı sorun olabilir mi?

Evet — diğer CDN'ler, hosting WAF'ları ve Wordfence gibi CMS güvenlik eklentileri de benzer engeller üretir. Doğrulama komutu aynıdır.

Engeli kaldırınca hemen AI'da çıkar mıyım?

Hemen değil — botların sitenizi yeniden keşfetmesi ve motorların içeriği işlemesi zaman alır. Engel kalkması ön şarttır, sonuç garantisi değildir.

Bu sayfa teknik uygulama bilgisidir; sıralama veya AI citation garantisi iddia edilmez.