Un LLM ne lit pas de lettres ou de mots – il lit des jetons. Avant qu'un texte n'atteigne le modèle, un tokeniseur le divise en une séquence d'entiers issus d'un vocabulaire fixe. Cette étape invisible façonne tout : la façon dont le modèle gère l'arithmétique, le coût d'une invite non anglaise, la raison pour laquelle GPT-4 ne peut pas compter de manière fiable les lettres d'un mot.