Trois lignes dans un fichier texte décident si ChatGPT peut lire votre site. Le robots.txt, ce fichier posé à la racine de votre domaine, autorise ou bloque chaque robot qui vient explorer vos pages. Les IA ont maintenant les leurs, et beaucoup de sites bloquent les mauvais sans le savoir.
Le résultat est toujours le même : disparaître des réponses de ChatGPT ou de Perplexity, sans le moindre message d'alerte. Voyons quels robots comptent, et lesquels laisser passer.
- Le
robots.txtliste les robots autorisés à explorer votre site, moteurs classiques comme robots IA. - Bloquer GPTBot (entraînement) n'empêche pas ChatGPT de vous citer : la citation passe par OAI-SearchBot (recherche), un robot distinct.
- Quatre robots de recherche comptent pour être cité : OAI-SearchBot, Claude-SearchBot, PerplexityBot et Google-Extended.
- Autoriser ou bloquer les robots d'entraînement est un choix éditorial, sans effet sur votre présence dans les réponses.
- Une erreur de
robots.txtvous rend invisible pour les IA en silence, sans aucune notification.
À quoi sert le robots.txt, en clair#
Le robots.txt est un simple fichier texte, public, placé à votredomaine.fr/robots.txt. Il donne à chaque robot une consigne : ce qu'il a le droit d'explorer, et ce qu'il doit laisser de côté. Historiquement, il servait à gérer Googlebot et les moteurs classiques. Depuis 2024, les fournisseurs d'IA ont publié leurs propres robots, et ce même fichier décide désormais de votre présence dans les réponses génératives.
Pour vos développeurs
Une règle robots.txt s'écrit en deux lignes : le nom du robot, puis ce qu'on autorise. User-agent: OAI-SearchBot suivi de Allow: / laisse le robot de recherche de ChatGPT explorer tout le site. Un Disallow: / à la place le bloque entièrement.
Robots de recherche et robots d'entraînement : la distinction qui change tout#
C'est le point que la plupart des articles ratent, et il décide de tout. Les robots IA se répartissent en deux familles aux rôles opposés.
Les robots de recherche (ou de réponse) déterminent si vous pouvez être cité : quand quelqu'un pose une question à ChatGPT ou Perplexity, ce sont eux qui vont lire vos pages pour construire la réponse. Les robots d'entraînement servent à nourrir les futurs modèles. Les autoriser ou les bloquer est un choix éditorial légitime, lié à votre sensibilité sur l'usage de votre contenu, et sans aucun effet sur votre citation dans les réponses.
D'où le contresens le plus répandu : bloquer GPTBot en croyant « se protéger de l'IA ». GPTBot est un robot d'entraînement. Le bloquer ne change rien à votre présence dans ChatGPT, qui passe par OAI-SearchBot. Beaucoup de sites verrouillent le mauvais robot, puis s'étonnent de ne pas être cités, ou pire, coupent OAI-SearchBot par une règle trop large et se ferment eux-mêmes la porte.
L’erreur classique
Une règle User-agent: * suivie de Disallow: / bloque absolument tout, robots IA de recherche compris. Sur un site en préproduction poussé en ligne tel quel, c'est la cause n°1 d'invisibilité, sur Google comme dans les IA, et l'une des premières pistes détaillées dans pourquoi votre site n'apparaît pas sur Google.
Les robots à autoriser pour être cité en 2026#
Pour apparaître dans les réponses des principaux moteurs, ce sont ces robots de recherche qu'il faut laisser passer :
- OAI-SearchBot alimente la recherche de ChatGPT (source : documentation OpenAI sur les robots).
- Claude-SearchBot permet à Claude de lire votre site pour ses réponses.
- PerplexityBot sert Perplexity, un moteur qui cite systématiquement ses sources.
- Google-Extended ouvre l'accès à Gemini et aux réponses IA de Google. Il est distinct de Googlebot : le bloquer n'affecte pas votre référencement Google classique.
- Bingbot compte double : au-delà de Bing, son index alimente la recherche de ChatGPT.
À côté, deux robots interviennent à la demande : ChatGPT-User et Perplexity-User se déclenchent quand un internaute colle votre lien dans l'outil pour le faire résumer. Les bloquer empêche ce cas d'usage direct.
Comment vérifier votre robots.txt#
Ouvrez votredomaine.fr/robots.txt dans un navigateur : le fichier est public. Cherchez toute règle Disallow associée à User-agent: * ou au nom d'un des robots ci-dessus. Une ligne trop large suffit à tous les couper.
Faire cette lecture à la main suppose de connaître chaque robot et sa fonction. Notre vérificateur de visibilité le fait pour vous : il teste l'accès de chaque robot de recherche IA et vous dit, robot par robot, lesquels sont autorisés et lesquels sont bloqués. C'est gratuit et sans inscription. Pour savoir si vous êtes aussi visible côté Google, on a détaillé les tests dans votre site est-il visible sur Google et les IA.
Le réglage à retenir#
Notre recommandation par défaut est simple : autorisez les robots de recherche IA, puisque vous voulez être cité, et gardez la main sur les robots d'entraînement selon votre position sur le sujet. Bloquer par réflexe tout ce qui ressemble à de l'« IA » est le meilleur moyen de disparaître des réponses sans l'avoir voulu.
Cet accès n'est que la porte d'entrée. Une fois vos pages lisibles, le vrai travail commence : un contenu clair, structuré et factuel, celui qui se fait réellement citer. C'est le prolongement naturel d'un bon référencement, détaillé dans comment être cité par ChatGPT et les IA, et l'audit SEO technique vérifie l'ensemble, de l'accès des robots à la structure du contenu.
Questions fréquentes
Bloquer GPTBot empêche-t-il ChatGPT de citer mon site ?
Non. GPTBot sert à l'entraînement des modèles. La citation dans les réponses de ChatGPT passe par un robot distinct, OAI-SearchBot. Bloquer GPTBot protège votre contenu de l'entraînement sans vous exclure des réponses.
Quels robots IA faut-il autoriser dans le robots.txt ?
Pour être cité, autorisez les robots de recherche : OAI-SearchBot (ChatGPT), Claude-SearchBot, PerplexityBot et Google-Extended (Gemini). Les robots d'entraînement (GPTBot, ClaudeBot) sont un choix distinct, sans effet sur la citation.
Où se trouve le fichier robots.txt de mon site ?
À la racine de votre domaine, à l'adresse votredomaine.fr/robots.txt. Il est public : n'importe qui, vous comme les robots, peut le consulter dans un navigateur.
Bloquer Google-Extended nuit-il à mon référencement Google ?
Non. Google-Extended concerne Gemini et les réponses IA de Google, pas la recherche classique gérée par Googlebot. Vous pouvez bloquer l'un sans affecter l'autre.