BOT · Accès des robots IA

Blocage au niveau du CDN ou du pare-feu applicatif

KZG-BOT-014 geopack@2026.08.1

Ce que la règle vérifie

Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.

Pour le dirigeant

Votre robots.txt autorise les robots IA, mais votre hébergeur ou votre CDN les refuse quand même : {agents} reçoivent une erreur alors que votre site s’ouvre normalement dans un navigateur.

Pour la personne qui corrige

{probed} agents sondés avec leur User-Agent exact depuis une adresse européenne. Agents en contradiction : {agents}.

Ce que le constat ne dit pas

Ce blocage n’apparaît nulle part dans votre robots.txt et n’est visible depuis aucun navigateur. Il vient d’un réglage de protection, souvent activé par défaut. Personne dans l’entreprise ne l’a décidé.

Le correctif

Le réglage se trouve dans votre protection, pas dans le fichier robots.txt : ouvrez le panneau de votre CDN ou de votre pare-feu et cherchez une option de blocage des robots IA (chez Cloudflare : Sécurité, Bots, « Block AI bots »), une règle de pare-feu filtrant par User-Agent ou une extension de sécurité WordPress. Désactivez-la, ou ajoutez une exception pour les agents listés dans le constat, puis relancez l’audit.

Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.

Niveau de preuve

Documenté. Le comportement est décrit noir sur blanc par le fournisseur du moteur ou par un standard publié. Les références ci-dessous y renvoient.

Références

  • PRD §5.3 — méthode de détection BOT-014/015