Glossaire GEO · Technique
Crawler (robot d'exploration)
Un crawler, ou robot d'exploration, est un programme qui parcourt automatiquement les pages web pour en collecter le contenu, que ce soit pour construire l'index d'un moteur de recherche classique ou pour entraîner et alimenter un modèle de langage. Chaque grand éditeur d'IA opère son propre crawler, identifiable dans les journaux d'un serveur web et pilotable via le fichier robots.txt.
Voir aussi