Glossaire GEO · Technique
Token
Un token est l'unité de base que traite un modèle de langage : un mot, une partie de mot ou un signe de ponctuation, selon la façon dont le texte est découpé par le modèle. La taille d'un modèle, son coût d'utilisation via une API et sa capacité à traiter un texte long se mesurent tous en nombre de tokens plutôt qu'en mots ou en caractères.
Voir aussi