BOT · Accès des robots IA
CCBot interdit dans robots.txt
KZG-BOT-013 geopack@2026.08.1
Ce que la règle vérifie
Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.
Pour le dirigeant
Votre site interdit CCBot, le robot de Common Crawl, qui a servi de source d’entraînement à de nombreux modèles.
Pour la personne qui corrige
robots.txt ligne {line} : User-agent: CCBot / Disallow: /
Ce que le constat ne dit pas
Aucun fournisseur ne publie la part que Common Crawl occupe dans ses corpus aujourd’hui. L’effet sur votre citation est un consensus de place, pas un fait documenté : nous le classons en hypothèse et lui donnons un poids faible.
Le correctif
Si ce blocage n’est pas voulu, remplacez dans le fichier robots.txt le groupe concerné par User-agent: CCBot suivi de Allow: /. Si vous avez choisi de refuser Common Crawl, vous pouvez laisser la ligne en place.
Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.
Niveau de preuve
Hypothèse. C’est un consensus de place, sans preuve publiée. La règle existe parce que la question se pose ; son effet sur la citation n’est pas démontré, et nous le disons.