BOT · Accès des robots IA

CCBot interdit dans robots.txt

KZG-BOT-013 geopack@2026.08.1

Ce que la règle vérifie

Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.

Pour le dirigeant

Votre site interdit CCBot, le robot de Common Crawl, qui a servi de source d’entraînement à de nombreux modèles.

Pour la personne qui corrige

robots.txt ligne {line} : User-agent: CCBot / Disallow: /

Ce que le constat ne dit pas

Aucun fournisseur ne publie la part que Common Crawl occupe dans ses corpus aujourd’hui. L’effet sur votre citation est un consensus de place, pas un fait documenté : nous le classons en hypothèse et lui donnons un poids faible.

Le correctif

Si ce blocage n’est pas voulu, remplacez dans le fichier robots.txt le groupe concerné par User-agent: CCBot suivi de Allow: /. Si vous avez choisi de refuser Common Crawl, vous pouvez laisser la ligne en place.

Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.

Niveau de preuve

Hypothèse. C’est un consensus de place, sans preuve publiée. La règle existe parce que la question se pose ; son effet sur la citation n’est pas démontré, et nous le disons.

Références