~$ man token
C'est quoi un token (en IA) ?
définition
Un token représente la plus petite unité que les modèles de langage (LLM) peuvent manipuler. Il ne correspond pas toujours à un mot entier : il peut être une syllabe, un préfixe ou même un signe de ponctuation.
Les tokenizers (comme Byte Pair Encoding) transforment le texte brut en séquence de tokens avant l'entraînement ou l'inférence. Chaque modèle possède son propre tokenizer et donc son propre vocabulaire de tokens.
Le nombre de tokens détermine la longueur maximale des entrées/sorties et influence directement le coût et la vitesse de traitement chez les fournisseurs d'API.
Pense à un puzzle où chaque pièce n'est pas un mot complet mais juste une partie (comme 'in', 'tel', 'li', 'gent'). L'IA assemble ces pièces pour former des phrases, exactement comme toi tu reconstitues le mot 'intelligent' à partir de fragments.
à retenir
- Un token n'est pas forcément un mot : 'chat' peut faire 1 token, 'chaton' peut en faire 2.
- La limite de contexte d'un modèle (ex. 128k tokens) s'exprime en nombre de tokens, pas en mots.
- Plus un texte contient de tokens, plus l'appel à l'API coûte cher et prend du temps.
- Chaque modèle a son tokenizer : le même texte peut donner un nombre de tokens différent selon GPT, Llama ou Claude.
- Optimiser le nombre de tokens (prompt compression, few-shot concis) est une compétence pratique pour les utilisateurs avancés.
le marché en 2026
En 2026, comprendre les tokens devient indispensable pour tous les rôles qui manipulent des LLM en production : prompt engineering, RAG, agents autonomes et optimisation de coûts. Les entreprises cherchent des profils capables de réduire la consommation de tokens tout en maintenant la qualité, ce qui impacte directement les postes de ML Engineer, LLM Ops et consultants IA.
questions fréquentes
Comment compter les tokens d'un texte ?
Utilise le tokenizer officiel du modèle (tiktoken pour OpenAI, sentencepiece pour d'autres). Colle ton texte dans l'outil et lis le compteur. Évite les approximations manuelles car les règles de découpage varient.
Pourquoi les tokens influencent le prix des API ?
Les fournisseurs facturent à l'entrée et à la sortie en fonction du nombre de tokens traités. Réduire les tokens permet de baisser la facture sans changer le modèle.
Un token peut-il être plus petit qu'une lettre ?
Rarement. La plupart des tokenizers modernes travaillent au niveau des sous-mots ou des bytes, mais une lettre isolée reste généralement regroupée avec d'autres caractères.
Faut-il optimiser ses prompts pour utiliser moins de tokens ?
Oui, surtout en production. Supprimer les exemples redondants, utiliser des instructions concises et compresser le contexte permet de tenir dans la limite et de réduire les coûts.
