Tokenizador

Cómo usar

Ingresa o pega texto para ver cómo diferentes modelos de IA lo tokenizan. La tokenización es el primer paso en el procesamiento de texto de los LLMs — entenderla ayuda con la ingeniería de prompts, estimación de costos y depuración de comportamiento.

• Tokenización en tiempo real mientras escribes — ve IDs y conteos al instante
• Compara conteos de tokens entre cuatro familias de modelos diferentes (GPT-4o, GPT-4, text-davinci-003, GPT-2)
• Visualización de tokens con colores que muestra cómo se divide el texto
• Decodifica IDs de token de vuelta a texto para verificar y entender la codificación