BOT · Accès des robots IA

Crawl-delay excessif

KZG-BOT-018 geopack@2026.08.1

Ce que la règle vérifie

Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.

Pour le dirigeant

Votre robots.txt demande aux robots d’attendre {crawlDelaySeconds} secondes entre deux pages. À ce rythme, explorer votre site prend des heures.

Pour la personne qui corrige

Crawl-delay: {crawlDelaySeconds} (seuil retenu : {threshold} s).

Ce que le constat ne dit pas

Crawl-delay ne fait pas partie du protocole robots.txt normalisé, et Google déclare l’ignorer. Aucun fournisseur d’IA ne documente son comportement à ce sujet : nous constatons une directive qui rendrait l’exploration impraticable si elle était respectée, sans affirmer qu’elle l’est.

Le correctif

Dans le fichier robots.txt, supprimez la ligne Crawl-delay, ou ramenez-la à une valeur de quelques secondes (10 au plus). Si elle a été ajoutée pour soulager le serveur, un cache de pages traite la même contrainte sans ralentir l’exploration.

Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.

Niveau de preuve

Hypothèse. C’est un consensus de place, sans preuve publiée. La règle existe parce que la question se pose ; son effet sur la citation n’est pas démontré, et nous le disons.

Références