Tokeniseur
Encodez du texte en IDs de tokens et comparez la tokenisation entre différents modèles d'IA
Comment utiliser
Saisissez ou collez du texte pour voir comment différents modèles d'IA le tokenisent. La tokenisation est la première étape du traitement du texte par les LLMs — la comprendre aide pour l'ingénierie des prompts, l'estimation des coûts et le débogage.
- Tokenisation en temps réel — voyez instantanément les IDs et les comptes
- Comparez les comptes de tokens entre quatre familles de modèles (GPT-4o, GPT-4, text-davinci-003, GPT-2)
- Visualisation colorée des tokens montrant comment le texte est divisé
- Décodez les IDs de token en texte pour vérifier et comprendre l'encodage