BOT · Accès des robots IA
Blocage au niveau du CDN ou du pare-feu applicatif
KZG-BOT-014 geopack@2026.08.1
Ce que la règle vérifie
Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.
Pour le dirigeant
Votre robots.txt autorise les robots IA, mais votre hébergeur ou votre CDN les refuse quand même : {agents} reçoivent une erreur alors que votre site s’ouvre normalement dans un navigateur.
Pour la personne qui corrige
{probed} agents sondés avec leur User-Agent exact depuis une adresse européenne. Agents en contradiction : {agents}.
Ce que le constat ne dit pas
Ce blocage n’apparaît nulle part dans votre robots.txt et n’est visible depuis aucun navigateur. Il vient d’un réglage de protection, souvent activé par défaut. Personne dans l’entreprise ne l’a décidé.
Le correctif
Le réglage se trouve dans votre protection, pas dans le fichier robots.txt : ouvrez le panneau de votre CDN ou de votre pare-feu et cherchez une option de blocage des robots IA (chez Cloudflare : Sécurité, Bots, « Block AI bots »), une règle de pare-feu filtrant par User-Agent ou une extension de sécurité WordPress. Désactivez-la, ou ajoutez une exception pour les agents listés dans le constat, puis relancez l’audit.
Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.
Niveau de preuve
Documenté. Le comportement est décrit noir sur blanc par le fournisseur du moteur ou par un standard publié. Les références ci-dessous y renvoient.
Références
- PRD §5.3 — méthode de détection BOT-014/015