BOT · Accès des robots IA
Robot d’entraînement autorisé alors que le robot de recherche est interdit
KZG-BOT-019 geopack@2026.08.1
Ce que la règle vérifie
Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.
Pour le dirigeant
Opérateur(s) concerné(s) : {operators}. Votre robots.txt interdit leur robot de recherche sans interdire leur robot d’entraînement. C’est l’inverse du réglage que retiennent d’ordinaire les sites qui trient ces robots : tel qu’il est écrit, le fichier laisse vos pages servir à l’entraînement des modèles, mais les écarte de la recherche qui alimente les réponses avec sources.
Pour la personne qui corrige
robots.txt — paire(s) concernée(s) : {pairs}. Première paire : {searchAgent} → disallow ; {trainingAgent} → {trainingVerdict}.
Ce que le constat ne dit pas
Le constat porte sur ce que le fichier déclare, pas sur une intention : interdire la recherche en laissant l’entraînement ouvert reste un choix possible. Le verdict « unspecified » signifie qu’aucune règle ne vise le robot d’entraînement, ce qui vaut accès ouvert par défaut. OpenAI et Anthropic documentent que chacun de leurs robots obéit séparément à robots.txt ; aucun des deux ne garantit qu’autoriser son robot de recherche entraîne une citation.
Le correctif
Dans robots.txt, autorisez le robot de recherche et, si vous refusez l’entraînement, interdisez le robot d’entraînement : « User-agent: OAI-SearchBot » suivi de « Allow: / », puis « User-agent: GPTBot » suivi de « Disallow: / ». Même logique pour Claude-SearchBot et ClaudeBot.
Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.
Niveau de preuve
Documenté. Le comportement est décrit noir sur blanc par le fournisseur du moteur ou par un standard publié. Les références ci-dessous y renvoient.