Si vous avez consulté vos journaux serveur récemment, vous avez probablement vu apparaître GPTBot. Moins de personnes remarquent son frère plus discret, OAI-SearchBot, juste à côté, qui fait un travail différent. Confondre les deux est l’erreur la plus fréquente dans les configurations robots.txt pour l’IA, et cela coûte discrètement aux sites leurs citations ChatGPT sans que personne ne comprenne pourquoi.
Les deux crawlers se distinguent clairement sur une ligne : entraînement versus recherche. Si vous vous trompez sur cette ligne dans robots.txt, vous pouvez perdre des citations que vous n’aviez jamais eu l’intention d’abandonner.
GPTBot vs OAI-SearchBot : deux crawlers OpenAI différents
GPTBot et OAI-SearchBot sont des crawlers distincts avec des rôles distincts : GPTBot collecte du contenu pour entraîner les modèles d’OpenAI, tandis qu’OAI-SearchBot indexe les pages afin que ChatGPT puisse les récupérer et les citer dans les réponses de recherche. Les traiter comme un seul « bot OpenAI » est là où la plupart des fichiers robots.txt se trompent.
OpenAI exploite une petite famille d’user agents, et la séparation entre entraînement et recherche est volontaire. Selon la documentation d’OpenAI sur ses crawlers, chaque réglage est indépendant : un webmaster peut autoriser OAI-SearchBot à apparaître dans les résultats de recherche tout en interdisant GPTBot pour empêcher que le contenu serve à l’entraînement des modèles. C’est tout le casse-tête stratégique que la plupart des équipes SEO manquent.
Il existe en réalité quatre agents OpenAI à connaître, pas deux :
- GPTBot : crawler de masse alimentant le pipeline d’entraînement d’OpenAI.
- OAI-SearchBot : indexe les pages spécifiquement pour les fonctionnalités de recherche et de citation de ChatGPT.
- ChatGPT-User : ne se déclenche que lorsqu’un utilisateur en direct demande à ChatGPT de récupérer une URL précise en temps réel.
- OAI-AdsBot : vérifie la conformité des pages de destination des annonces soumises à ChatGPT. Il ne visite que les pages soumises en tant qu’annonces et, selon la documentation d’OpenAI, ses données ne sont pas utilisées non plus pour l’entraînement des modèles.
La plupart des guides publiés en 2023–2024 ne mentionnent que GPTBot, car OAI-SearchBot n’existait pas encore. Si votre robots.txt n’a pas été modifié depuis, il y a de fortes chances qu’il bloque silencieusement le crawler exact responsable de vos citations dans ChatGPT aujourd’hui.
Ce que fait chaque crawler, et pourquoi c’est important
GPTBot collecte du contenu web susceptible d’être utilisé pour entraîner et améliorer les modèles d’IA générative d’OpenAI. OAI-SearchBot construit l’index en temps réel qui alimente les fonctionnalités de recherche et de citation de ChatGPT, et il n’est pas utilisé pour l’entraînement. Différence pratique : l’un influence ce que le modèle sait sur le long terme, l’autre influence votre présence tout de suite.
GPTBot (user agent actuel : GPTBot/1.4, chaîne complète : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot) existe pour alimenter le pipeline d’entraînement d’OpenAI, et rien d’autre. Le bloquer empêche votre contenu d’entraîner les futurs modèles. Cela n’a aucun effet sur la recherche ChatGPT ; c’est un système distinct.
OAI-SearchBot (user agent actuel : OAI-SearchBot/1.4 ; sa chaîne complète est plus longue que celle de GPTBot, avec un préfixe de type Chrome : Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot) est plus récent, plus ciblé, et explore pour maintenir un index à jour pour les réponses en temps réel. Le bloquer ne protège pas votre IP de l’entraînement. Il vous retire de la surface de réponse de ChatGPT, point final. Si votre objectif est la visibilité dans la recherche IA, c’est le crawler qui compte. Les numéros de version des deux agents changent périodiquement : faites plutôt correspondre la sous-chaîne GPTBot ou OAI-SearchBot que de vous fixer sur une chaîne de version exacte.
ChatGPT-User (user agent : ChatGPT-User/1.0) est l’exception. Ce n’est pas du crawling automatisé. Il ne se déclenche que lorsque quelqu’un saisit votre URL dans ChatGPT et demande au modèle de la lire, ou interagit avec un GPT personnalisé via GPT Actions. OpenAI est clair : comme ces requêtes sont initiées par l’utilisateur, les règles robots.txt peuvent même ne pas s’y appliquer comme elles s’appliquent aux crawlers automatisés. Le bloquer est rarement utile. Cela peut casser une récupération explicitement demandée par l’utilisateur, et ce n’est pas non plus le point de contrôle pour les exclusions de la recherche ; c’est le rôle d’OAI-SearchBot.
| Crawler | User agent (chaîne principale) | Objectif | Utilisé pour l’entraînement ? | Affecte les citations ChatGPT ? |
|---|---|---|---|---|
| GPTBot | GPTBot/1.4 | Crawl de masse pour l’entraînement des modèles | Oui | Non (indirectement seulement) |
| OAI-SearchBot | OAI-SearchBot/1.4 | Indexation de recherche en temps réel | Non | Oui, directement |
| ChatGPT-User | ChatGPT-User/1.0 | Récupération de page déclenchée par l’utilisateur | Non | Non, robots.txt peut même ne pas s’appliquer |
| OAI-AdsBot | OAI-AdsBot/1.0 | Vérifie les pages de destination des annonces pour la conformité aux politiques | Non | Non |
À retenir : ce sont des leviers indépendants, pas un seul interrupteur. Actionnez-les séparément, et vous contrôlez la manière dont l’écosystème d’OpenAI interagit avec votre site.
Configuration robots.txt : autoriser l’un, bloquer l’autre
Vous configurez GPTBot et OAI-SearchBot indépendamment dans le même fichier robots.txt, en utilisant des blocs User-agent distincts. Autoriser l’un et interdire l’autre n’a aucun effet sur le comportement de l’autre. C’est la configuration que la plupart des sites axés sur le contenu devraient utiliser en 2026 : rester éligible aux citations, se retirer de l’entraînement.
Configuration recommandée pour la plupart des éditeurs : visible dans la recherche ChatGPT, retrait de l’entraînement :
# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /
Visibilité IA maximale : autoriser les deux crawlers, en acceptant que le contenu puisse aussi être utilisé pour l’entraînement :
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
Retrait total : pas de citations, pas d’entraînement, généralement réservé aux contenus payants ou réglementés :
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Hybride, contrôle au niveau des chemins. De nombreux sites d’entreprise ne font pas un choix tout ou rien. Ils ouvrent le blog et la documentation, et verrouillent les espaces compte et les outils internes :
User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
Quelques points à connaître avant de déployer l’une de ces options :
- robots.txt est une demande, pas un mécanisme d’application. Les crawlers bien élevés le respectent, mais il n’a aucune valeur juridique en soi.
- Comptez environ 24 heures pour que les systèmes d’OpenAI reflètent une modification de robots.txt dans le comportement côté recherche.
- Les règles au niveau des répertoires ne fonctionnent que si elles se trouvent sous le bon bloc
User-agent. UnAllow: /égaré sous le mauvais agent annule votre intention.
Vérification : plages IP et schémas de crawl
Vous vérifiez qu’un crawler se présentant comme GPTBot ou OAI-SearchBot est légitime en comparant la requête aux plages IP publiées par OpenAI, et non en vous fiant uniquement à la chaîne user-agent. Les user agents peuvent être usurpés ; les plages IP sont beaucoup plus difficiles à falsifier. OpenAI publie des fichiers JSON lisibles par machine pour chaque agent, précisément pour automatiser cette vérification.
Les plages publiées se trouvent à des URL prévisibles :
openai.com/gptbot.json(plages de GPTBot)openai.com/searchbot.json(plages d’OAI-SearchBot)openai.com/chatgpt-user.json(plages de ChatGPT-User)
Un workflow de vérification pratique ressemble à ceci :
- Recherchez dans les logs d’accès serveur la sous-chaîne pertinente (
GPTBot,OAI-SearchBot,ChatGPT-User). - Récupérez l’IP demandeuse pour chaque ligne de log correspondante.
- Recoupez cette IP avec le fichier JSON de plage correspondant.
- Signalez toute requête qui prétend être un crawler OpenAI mais ne correspond à aucune plage publiée. C’est un bot usurpé ou sans rapport, pas OpenAI.
Un détail qui piège les audits de logs : lorsque GPTBot ou OAI-SearchBot récupèrent le fichier robots.txt lui-même, la documentation d’OpenAI indique qu’ils peuvent ajouter un marqueur robots.txt supplémentaire à la chaîne user-agent, précisément pour que les logs sans données de chemin complètes puissent distinguer une vérification robots.txt d’une récupération de page classique. Si vous filtrez les logs uniquement par user-agent, tenez compte de ce marqueur, sinon vous risquez de compter deux fois ou de mal catégoriser des requêtes.
Concernant les schémas de crawl : OpenAI a indiqué que si un site autorise à la fois GPTBot et OAI-SearchBot, il peut réutiliser les résultats d’un seul crawl pour les deux usages plutôt que d’explorer deux fois les mêmes pages. Des empreintes de crawl identiques pour les deux agents ne signifient pas forcément deux passages distincts. Ne prenez pas le volume de crawl comme un indicateur de l’agent « le plus agressif ». Vérifiez quel agent touche réellement vos logs, et comparez ces IP aux plages publiées.
Impact sur les citations ChatGPT
Bloquer OAI-SearchBot retire votre contenu des réponses de recherche de ChatGPT, même si GPTBot a déjà exploré et entraîné sur les mêmes pages ailleurs. Selon la documentation d’OpenAI, un site ayant opté pour le retrait n’apparaîtra pas dans les réponses de recherche citées, même s’il peut encore apparaître comme simple lien de navigation. Le retrait affecte l’inclusion de niveau « citation », pas chaque mention. Cela casse une vieille hypothèse : « si l’IA connaît déjà mon site, je suis couvert ». En 2026, connaître et citer sont deux systèmes distincts.
Quelques conséquences à intégrer :
- Un site peut être « connu » du modèle et rester invisible dans les réponses de recherche. Les données d’entraînement et l’index de citation en direct ne communiquent pas entre eux.
- Autoriser GPTBot n’a aucun impact sur le fait d’être cité aujourd’hui. L’entraînement affecte une future version du modèle, pas les résultats de recherche ChatGPT de cette semaine.
- Un fichier robots.txt hérité d’un modèle de 2023 est une cause fréquente et invisible de citations manquantes. OAI-SearchBot n’existait pas lorsque beaucoup de ces fichiers ont été écrits ; il est donc souvent pris dans une règle générale « bloquer tous les bots OpenAI » qui lui est antérieure.
- Le blocage au niveau des chemins s’applique toujours. Si OAI-SearchBot est autorisé sur tout le site mais bloqué sur votre meilleur contenu long format, ce contenu n’apparaîtra pas dans les réponses de ChatGPT, quelle que soit sa qualité.
Si votre stratégie de contenu dépend de la visibilité dans la recherche IA — et pour la plupart des niches concurrentielles en 2026, c’est de plus en plus le cas — l’accès d’OAI-SearchBot n’est pas optionnel. C’est la seule ligne de configuration qui détermine si vos meilleurs contenus ont une chance d’être cités, tout simplement.
Vérifiez votre propre configuration de visibilité IA
Lire une checklist est une chose ; savoir si votre propre site est correctement configuré en est une autre. Les règles robots.txt mal configurées, les modèles « bloquer toute l’IA » laissés à l’abandon et les erreurs au niveau des chemins sont suffisamment courants pour que deviner ne soit pas une stratégie fiable.
L’outil AI Visibility d’ICODA vérifie précisément cela : si votre site est accessible par OAI-SearchBot et les autres crawlers qui déterminent l’éligibilité aux citations IA, et où se trouvent les lacunes. Si GPTBot et OAI-SearchBot n’étaient qu’une seule ligne indifférenciée dans votre fichier robots.txt, cela vaut cinq minutes pour confirmer que vous ne vous retirez pas accidentellement de citations que vous souhaitez.
Questions fréquemment posées
Non, bloquer GPTBot n’a aucun effet sur Google. OpenAI et Google exploitent des crawlers et des systèmes complètement séparés ; une règle Disallow pour GPTBot ne touche donc pas vos classements. La seule façon de vous faire piéger, c’est d’utiliser un bloc User-agent: * trop général qui attrape Googlebot en même temps que GPTBot. Vérifiez votre robots.txt ligne par ligne — si GPTBot a son propre bloc dédié, tout va bien.
Robots.txt n’a aucune valeur juridique, c’est vrai : c’est une demande, pas un verrou. Mais OpenAI le respecte en pratique, et vous pouvez vérifier le trafic réel de GPTBot ou d’OAI-SearchBot par rapport à leurs plages IP publiées pour confirmer qu’ils respectent vos règles. Le vrai risque n’est pas qu’OpenAI ignore robots.txt, mais qu’un autre bot usurpe la chaîne user-agent pour passer des filtres qui ne vérifient que le nom. Si vous voulez de la certitude, vérifiez les IP, pas seulement le user-agent.
Non, le bloquer maintenant ne fait qu’arrêter les crawls futurs ; cela n’efface pas ce qui est déjà intégré dans un modèle entraîné. L’entraînement se fait par cycles, donc tout ce que GPTBot a récupéré avant que vous le bloquiez peut encore se refléter dans le comportement du modèle pendant des mois, voire plus. Si votre objectif est « retirer mon ancien contenu des données d’entraînement de ChatGPT », robots.txt ne peut pas le faire rétroactivement. Ce qu’il peut faire, c’est empêcher que du nouveau contenu y entre à l’avenir.
Probablement pas, et le bloquer se retourne généralement contre vous. ChatGPT-User ne se déclenche que lorsqu’une personne colle votre URL dans ChatGPT et lui demande de lire la page ; le bloquer casse donc une récupération explicitement demandée. Cela n’a rien à voir avec l’entraînement et ce n’est pas non plus le levier de retrait pour les citations de recherche : c’est le rôle d’OAI-SearchBot. Gardez vos efforts de blocage pour GPTBot ou OAI-SearchBot, selon ce que vous cherchez réellement à contrôler.
Oui, c’est exactement ce que ces deux crawlers ont été conçus pour vous permettre de faire. Interdisez GPTBot pour vous retirer de l’entraînement, et autorisez séparément OAI-SearchBot afin que vos pages restent éligibles à la citation dans les réponses de recherche de ChatGPT. Ce n’est pas un seul interrupteur : ce sont des réglages indépendants dans le même fichier robots.txt. Le compromis, c’est que vous faites confiance à la séparation d’OpenAI pour qu’elle tienne réellement en pratique ; OpenAI a déclaré que les deux systèmes ne se recoupent pas, mais vous vous fiez à leur parole sur ce point.
Partager
Notez l'article
