BOT · Accès des robots IA
Crawl-delay excessif
KZG-BOT-018 geopack@2026.08.1
Ce que la règle vérifie
Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.
Pour le dirigeant
Votre robots.txt demande aux robots d’attendre {crawlDelaySeconds} secondes entre deux pages. À ce rythme, explorer votre site prend des heures.
Pour la personne qui corrige
Crawl-delay: {crawlDelaySeconds} (seuil retenu : {threshold} s).
Ce que le constat ne dit pas
Crawl-delay ne fait pas partie du protocole robots.txt normalisé, et Google déclare l’ignorer. Aucun fournisseur d’IA ne documente son comportement à ce sujet : nous constatons une directive qui rendrait l’exploration impraticable si elle était respectée, sans affirmer qu’elle l’est.
Le correctif
Dans le fichier robots.txt, supprimez la ligne Crawl-delay, ou ramenez-la à une valeur de quelques secondes (10 au plus). Si elle a été ajoutée pour soulager le serveur, un cache de pages traite la même contrainte sans ralentir l’exploration.
Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.
Niveau de preuve
Hypothèse. C’est un consensus de place, sans preuve publiée. La règle existe parce que la question se pose ; son effet sur la citation n’est pas démontré, et nous le disons.