BOT · Accès des robots IA
robots.txt servi sous forme de page HTML
KZG-BOT-022 geopack@2026.08.1
Ce que la règle vérifie
Voici ce que le rapport écrit quand la règle se déclenche. Les termes entre accolades sont remplacés par les valeurs relevées sur le site audité.
Pour le dirigeant
L’adresse /robots.txt de votre site renvoie une page web au lieu d’un fichier de consignes. Les robots des IA n’y trouvent aucune règle lisible : ce que vous pensiez autoriser ou interdire n’est pas déclaré.
Pour la personne qui corrige
GET /robots.txt → code {status}, corps HTML au lieu d’un fichier de directives en texte brut.
Ce que le constat ne dit pas
Un robot conforme à la RFC 9309 n’applique que les règles qu’il parvient à lire : une page HTML revient le plus souvent à un fichier sans règle, donc à un accès ouvert par défaut — mais aucun fournisseur d’IA ne documente son comportement précis dans ce cas. Causes habituelles : une redirection générale vers l’accueil, une page d’erreur maison servie avec un code 200, ou un pare-feu qui intercepte la requête de notre sonde, auquel cas d’autres robots peuvent recevoir une réponse différente.
Le correctif
Servez à l’adresse /robots.txt un fichier texte (Content-Type: text/plain) contenant vos directives, sans redirection ni page d’erreur à sa place. Contrôle : « curl -i https://votre-domaine.fr/robots.txt » doit afficher des lignes « User-agent: ».
Corriger ce point améliore la lisibilité du site pour les moteurs. Cela ne garantit pas qu’un moteur citera l’entreprise : ce choix lui appartient.
Niveau de preuve
Observé. Le comportement se constate — dans des relevés, des analyses de journaux publiées — mais aucun fournisseur ne s’y engage par écrit. Il peut changer sans préavis.