Glossaire GEO · Technique
Web scraping
Le web scraping désigne l'extraction automatisée du contenu d'un site web par un programme, sans passer par une interface ou une API officielle prévue à cet effet. Les crawlers d'IA pratiquent une forme de scraping à grande échelle pour collecter le contenu qu'ils utilisent ensuite pour l'entraînement de leurs modèles ou pour sourcer leurs réponses, ce qui explique les débats en cours sur le contrôle de ce contenu via le fichier robots.txt.
Voir aussi