Outil gratuit · sans compte

Générateur de robots.txt pour les robots IA

Choisissez ce que vous acceptez des robots IA : entraînement, recherche, récupération à la demande. Le fichier nomme chaque robot, son éditeur et son usage, et garde vos règles existantes.

Tout se calcule dans votre navigateur. Rien de ce que vous saisissez ou collez ici n’est envoyé à nos serveurs.

Quelle politique pour les robots IA ?

Aucune n’est « la bonne » : c’est un choix d’éditeur. Chaque option dit ce qu’elle fait, et ce qu’elle coûte.

Politique « Tout autoriser » : 18 robots autorisés, 0 refusés, 2 non modifiés.

Les 20 robots du registre, avec la politique choisie
RobotÉditeurUsageDécision
GPTBotOpenAIentraînement, rechercheAutorisé
OAI-SearchBotOpenAIrechercheAutorisé
ChatGPT-UserOpenAIrequête utilisateurAutorisé
ClaudeBotAnthropicentraînementAutorisé
Claude-SearchBotAnthropicrechercheAutorisé
Claude-UserAnthropicrequête utilisateurAutorisé
PerplexityBotPerplexityrechercheAutorisé
Perplexity-UserPerplexityrequête utilisateurAutorisé
Google-ExtendedGoogleentraînementAutorisé
GooglebotGooglerechercheNon modifiéRobot d’indexation du moteur de recherche Google : ce générateur n’y touche jamais.
BingbotMicrosoftrechercheNon modifiéRobot d’indexation du moteur de recherche Microsoft : ce générateur n’y touche jamais.
Applebot-ExtendedAppleentraînementAutorisé
AmazonbotAmazonentraînement, rechercheAutorisé
CCBotCommon CrawlentraînementAutorisé
MistralAI-UserMistral AIrequête utilisateurAutorisé
cohere-aiCohereentraînementAutorisé
YouBotYou.comrechercheAutorisé
DuckAssistBotDuckDuckGorequête utilisateurAutorisé
BytespiderByteDanceentraînementAutorisé
Meta-ExternalAgentMetaentraînementAutorisé
Votre site (facultatif)

Adresse complète, par exemple https://exemple.fr/sitemap.xml. Elle sera ajoutée en fin de fichier.

Vos groupes existants sont conservés tels quels ; seuls ceux des robots IA sont remplacés. Un robot autorisé reprend les limites de votre groupe « * », parce qu’un robot nommé n’en hérite pas.

Aperçu du robots.txt

robots.txt

# robots.txt — robots IA réglés avec le générateur Synaptik
# Politique : Tout autoriser
# robots.txt est une déclaration : un robot peut choisir de ne pas la respecter.

# Tous les autres robots : aucune restriction.
User-agent: *
Allow: /

# ---- Robots IA ----
# == OpenAI ==
# GPTBot — entraînement, recherche : autorisé
User-agent: GPTBot
Allow: /

# OAI-SearchBot — recherche : autorisé
User-agent: OAI-SearchBot
Allow: /

# ChatGPT-User — requête utilisateur : autorisé
User-agent: ChatGPT-User
Allow: /

# == Anthropic ==
# ClaudeBot — entraînement : autorisé
User-agent: ClaudeBot
Allow: /

# Claude-SearchBot — recherche : autorisé
User-agent: Claude-SearchBot
Allow: /

# Claude-User — requête utilisateur : autorisé
User-agent: Claude-User
Allow: /

# == Perplexity ==
# PerplexityBot — recherche : autorisé
User-agent: PerplexityBot
Allow: /

# Perplexity-User — requête utilisateur : autorisé
User-agent: Perplexity-User
Allow: /

# == Google ==
# Google-Extended — entraînement : autorisé
User-agent: Google-Extended
Allow: /

# == Apple ==
# Applebot-Extended — entraînement : autorisé
User-agent: Applebot-Extended
Allow: /

# == Amazon ==
# Amazonbot — entraînement, recherche : autorisé
User-agent: Amazonbot
Allow: /

# == Common Crawl ==
# CCBot — entraînement : autorisé
User-agent: CCBot
Allow: /

# == Mistral AI ==
# MistralAI-User — requête utilisateur : autorisé
User-agent: MistralAI-User
Allow: /

# == Cohere ==
# cohere-ai — entraînement : autorisé
User-agent: cohere-ai
Allow: /

# == You.com ==
# YouBot — recherche : autorisé
User-agent: YouBot
Allow: /

# == DuckDuckGo ==
# DuckAssistBot — requête utilisateur : autorisé
User-agent: DuckAssistBot
Allow: /

# == ByteDance ==
# Bytespider — entraînement : autorisé
User-agent: Bytespider
Allow: /

# == Meta ==
# Meta-ExternalAgent — entraînement : autorisé
User-agent: Meta-ExternalAgent
Allow: /

# Non modifiés : Googlebot, Bingbot (indexation des moteurs de recherche).

Où placer ce fichier

  1. Enregistrez-le sous le nom exact robots.txt, en texte brut, encodé en UTF-8.
  2. Déposez-le à la racine du site : il doit répondre à l’adresse https://votre-domaine.fr/robots.txt. Placé dans un sous-dossier, il n’est lu par aucun robot.
  3. Un sous-domaine (blog.votre-domaine.fr) a son propre fichier.
  4. Ouvrez ensuite l’adresse dans votre navigateur pour vérifier que c’est bien ce fichier qui est servi.

Ce que ce fichier ne fait pas. robots.txt est une déclaration : il exprime votre choix, il ne le fait pas respecter. Un pare-feu ou un service anti-robot peut bloquer un robot que ce fichier autorise ; l’audit le vérifie par une requête réelle. Et autoriser un robot ne garantit ni son passage, ni une citation.

Tous les outils