Glossaire GEO · Technique
robots.txt
Le fichier robots.txt est un fichier texte placé à la racine d'un site web, qui indique aux robots d'exploration quelles pages ils sont autorisés ou non à parcourir. Ce protocole existe depuis 1994, selon l'historique documenté du Robots Exclusion Protocol. En GEO, il permet d'autoriser explicitement les crawlers des moteurs IA (GPTBot, PerplexityBot, ClaudeBot, Google-Extended, entre autres) : sans cette autorisation, un contenu peut rester invisible à ces moteurs même s'il est par ailleurs bien indexé par une recherche classique.
Voir aussi