Pour savoir si ChatGPT cite un site, il faut lire ses réponses. Pour comprendre pourquoi il le cite ou non, les journaux du serveur donnent une partie de l’explication : ils montrent si les robots d’OpenAI passent, sur quelles pages, et s’ils sont bloqués. Encore faut-il savoir lequel regarder.
Trois robots, trois usages
OpenAI documente ses robots sur une page dédiée, Overview of OpenAI Crawlers. Trois concernent un site ordinaire.
- OAI-SearchBot sert à faire apparaître des sites dans les fonctions de recherche de ChatGPT. Il respecte le fichier robots.txt. Selon OpenAI, un site qui l’interdit n’est pas affiché dans les réponses de recherche de ChatGPT. C’est le robot à ne pas bloquer si l’objectif est d’être cité.
- ChatGPT-User correspond à certaines actions déclenchées par un utilisateur dans ChatGPT ou dans un GPT personnalisé, par exemple l’ouverture d’une page. Comme la visite vient d’une demande d’utilisateur, OpenAI précise que les règles du robots.txt peuvent ne pas s’appliquer.
- GPTBot collecte des contenus qui peuvent servir à entraîner les modèles d’OpenAI. Il respecte le robots.txt, et le bloquer n’empêche pas d’apparaître dans la recherche de ChatGPT.
OpenAI mentionne aussi OAI-AdsBot, limité à la vérification des pages soumises comme publicités dans ChatGPT : sans publicité, il ne vous concerne pas.
Les repérer dans les journaux
Chaque robot s’annonce par un nom dans son agent utilisateur. Sur un serveur qui écrit ses journaux au format habituel, une recherche suffit pour compter les passages et les pages visitées :
grep -E "OAI-SearchBot|ChatGPT-User|GPTBot" access.log \
| awk '{print $7}' | sort | uniq -c | sort -rn | head -30La commande liste les trente adresses les plus demandées par ces robots. Remplacez $7 par le numéro du champ qui contient le chemin si votre format de journal diffère.
Vérifier que ce sont bien eux
Un agent utilisateur se falsifie en une ligne. OpenAI publie les plages d’adresses IP de chaque robot, à comparer avec l’adresse de la requête : openai.com/searchbot.json pour OAI-SearchBot, openai.com/chatgpt-user.json pour ChatGPT-User et openai.com/gptbot.json pour GPTBot. Une visite qui se dit OAI-SearchBot depuis une autre adresse n’est pas celle d’OpenAI.
Le robots.txt qui correspond à l’objectif
Beaucoup de sites ont bloqué « les robots d’IA » d’un bloc, en copiant une liste trouvée en ligne. Si l’objectif est d’apparaître dans les réponses de ChatGPT tout en refusant l’entraînement, la règle se sépare en deux :
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Le choix de refuser ou non l’entraînement vous appartient. L’important est de ne pas interdire OAI-SearchBot par accident. Vérifiez aussi les règles de pare-feu et de protection anti-robots de l’hébergeur, qui bloquent parfois ces agents sans que le robots.txt soit en cause.
Ce que les journaux ne disent pas
Un passage d’OAI-SearchBot prouve qu’une page peut être trouvée, pas qu’elle sera citée. À l’inverse, l’absence de visite récente n’empêche pas une citation, par exemple via une fiche d’entreprise ou une page tierce qui parle de vous. Les journaux expliquent les causes possibles, les réponses mesurent le résultat : les deux se lisent ensemble.
Pour la mesure du résultat, voir comment Monitor GEO relève les réponses.