Référence · Robots d'IA
La plupart des fichiers robots.txt que nous auditons se trompent sur au moins un d'entre eux. Généralement celui qui retire discrètement l'entreprise de la recherche ChatGPT.
Mis à jour 2026-08-29
Il n'existe pas un seul « robot d'IA ». Il y en a au moins neuf, distincts, provenant de quatre entreprises ; ils font des travaux différents, et en bloquer un n'a rien à voir avec en bloquer un autre. L'erreur la plus fréquente que nous rencontrons est un robots.txt qui bloque OAI-SearchBot alors qu'on voulait seulement se retirer de l'entraînement des modèles, une règle qui retire entièrement l'entreprise des réponses de la recherche ChatGPT sans rien changer à l'entraînement.
Le fait le plus important : à l'exception de Googlebot et d'Applebot, aucun de ces robots n'exécute de JavaScript. Si votre site construit son contenu dans le navigateur, ils voient une coquille vide, quoi que dise votre robots.txt. Vous pouvez vérifier le vôtre avec notre outil gratuit de visibilité IA en une minute environ.
Le titre promet un coût, alors voici la taille de ce qui est bloqué. Adobe a mesuré une hausse de 1 200 % du trafic atteignant les sites de détail américains en provenance des sources d'IA générative en moins d'un an. Semrush a constaté que le visiteur moyen référé par l'IA convertit à 4,4 fois le taux de celui qui arrive de la recherche organique traditionnelle. BrightLocal évalue à 45 % la part des consommateurs qui demandent à l'IA générative des recommandations d'entreprises locales, contre 6 % un an plus tôt. Et le canal qu'elle déplace rétrécit : Pew Research, en suivant le comportement réel de navigation, a constaté que les gens cliquent sur un résultat de recherche 8 % du temps quand un résumé d'IA est affiché, contre 15 % quand il ne l'est pas.
Rien de tout cela n'est une projection. C'est la taille actuelle d'un canal dont une seule ligne erronée dans un fichier texte peut vous retirer entièrement.
GPTBot recueille des données servant à entraîner les modèles d'OpenAI. Il ne contrôle pas votre présence dans les résultats de la recherche ChatGPT ; c'est un autre robot.
Le bloquer est une décision légitime de licence de contenu et ne vous coûte aucune visibilité. L'erreur, c'est de le bloquer en croyant qu'il contrôle la recherche ChatGPT.
En brefBloque l'entraînement. N'affecte pas la visibilité dans la recherche ChatGPT.
C'est celui qui compte commercialement. OAI-SearchBot construit l'index sur lequel s'appuie la recherche ChatGPT, et OpenAI documente clairement que les sites qui se retirent « ne seront pas affichés dans les réponses de la recherche ChatGPT ».
Si vous ne faites qu'une seule chose après avoir lu cette page, vérifiez que votre robots.txt autorise OAI-SearchBot.
En brefLe bloquer vous retire des réponses de la recherche ChatGPT. Presque personne ne le veut.
Quand quelqu'un, dans une session ChatGPT, suit un lien vers votre site ou demande à l'assistant de regarder une page précise, c'est cet agent qui va la chercher en temps réel.
Le bloquer signifie qu'un utilisateur qui demande explicitement à ChatGPT de lire votre page s'entend répondre que c'est impossible. Voilà une étrange expérience à offrir à un prospect en pleine recherche sur vous.
En brefBloque la demande « va lire cette page » qu'un vrai utilisateur a lui-même déclenchée.
Le robot d'entraînement d'Anthropic, l'équivalent direct de GPTBot. Le même raisonnement s'applique : le bloquer est un choix de licence, pas un choix de visibilité.
En brefBloque l'entraînement de Claude. Aucune conséquence sur la visibilité en recherche.
Les équivalents chez Anthropic d'OAI-SearchBot et de ChatGPT-User : l'un construit l'index de recherche que Claude consulte, l'autre va chercher une page quand la conversation d'un utilisateur l'exige.
La base d'utilisateurs de Claude penche fortement vers les profils techniques et professionnels, ce qui, pour une entreprise de services B2B, représente une audience plus précieuse par visite que sa part de trafic brute ne le laisse croire.
En brefLes bloquer vous retire des réponses de Claude.
Perplexity est conçu pour la réponse d'abord : il affiche une réponse composée avec des citations numérotées plutôt qu'une liste de liens, ce qui rend une citation particulièrement visible.
Il n'exécute pas de JavaScript, ce qui veut dire qu'un site rendu côté client lui est invisible, aussi bon soit son contenu.
En brefLe bloquer vous retire des citations de Perplexity.
Googlebot exécute le JavaScript, et c'est le seul levier qui compte pour les Aperçus IA et le mode IA. Il n'existe pas de « robot des Aperçus IA » distinct à autoriser ou à bloquer.
C'est pourquoi le SEO classique est la condition d'entrée des surfaces d'IA de Google, et non une discipline distincte d'elles.
En brefLe bloquer vous retire de Google Search et des Aperçus IA d'un seul coup.
Google-Extended est souvent mal décrit par les agences comme un levier sur les Aperçus IA. Ce n'est pas du tout un robot : c'est un jeton qui détermine si votre contenu entraîne Gemini.
Google précise explicitement que cela « n'a pas d'incidence sur l'inclusion d'un site dans Google Search », et le bloquer ne vous retire pas des Aperçus IA.
En brefBloque l'entraînement de Gemini uniquement. Aucun effet sur Google Search ni sur les Aperçus IA.
Bingbot exécute le JavaScript imparfaitement et alimente Bing, qui à son tour alimente une partie des résultats de la recherche ChatGPT. Il a donc une voie indirecte vers un moteur de réponse.
Applebot exécute le JavaScript et alimente les surfaces de Siri et d'Apple Intelligence.
En brefLes deux méritent d'être autorisés ; les deux portent plus loin que leurs propres produits.
L'intention courante est la suivante : rester hors de l'entraînement des modèles, rester dans les réponses. C'est exprimable, parce que l'entraînement et la réponse relèvent de robots différents. Autoriser un robot est le comportement par défaut ; le fichier utile est donc celui qui ne nomme que ce que vous refusez.
Trois lignes refusent les collecteurs d'entraînement : Disallow: / sous User-agent: GPTBot, la même sous User-agent: ClaudeBot, et la même sous User-agent: Google-Extended. Rien d'autre n'a besoin d'une règle, puisque l'autorisation est le comportement par défaut. Ajoutez votre ligne sitemap et arrêtez-vous là.
Ce que cela laisse libre de vous lire, c'est OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Googlebot, Bingbot et Applebot, soit l'ensemble qui décide si vous pouvez être cité tout court.
Si vous voulez aussi être dans l'entraînement, la réponse est plus simple encore : ne publiez rien d'autre que la ligne sitemap. La défaillance que nous trouvons réellement en audit n'est jamais un fichier trop permissif. C'est un `User-agent: *` nu accompagné d'un `Disallow: /` oublié d'un environnement de préproduction, qui attrape d'un seul coup tous les robots de cette page.
En brefNe nommez que ce que vous refusez. Bloquer l'entraînement n'oblige pas à bloquer les robots de réponse.
Le constat qui traverse les neuf : les robots qui décident si un assistant IA peut vous citer ne sont pas ceux que la plupart des gens croient, et ceux qui comptent le plus ne savent pas exécuter de JavaScript. Corriger le robots.txt est l'affaire de dix minutes. Corriger le rendu est un travail d'ingénierie, et c'est précisément le travail pour lequel notre pratique d'AEO existe.
Foire aux questions
