分词器

使用说明

输入或粘贴文本，查看不同 AI 模型如何对其分词。Tokenization 是 LLM 处理文本的第一步——理解它有助于提示工程、成本估算和调试模型行为。

• 实时分词——输入即得 Token ID 和计数
• 比较四种模型家族（GPT-4o、GPT-4、text-davinci-003、GPT-2）的 Token 计数差异
• 彩色 Token 可视化，展示文本如何被拆分为 Token
• 将 Token ID 解码回文本以验证和理解编码