トークナイザー

使い方

テキストを入力して、異なるAIモデルがどのようにトークン化するか確認できます。トークン化はLLMがテキストを処理する最初のステップです—理解することで、プロンプトエンジニアリング、コスト見積もり、モデルの動作デバッグに役立ちます。

• リアルタイムトークン化—入力すると即座にトークンIDとカウントを表示
• 4つのモデルファミリー（GPT-4o、GPT-4、text-davinci-003、GPT-2）間のトークン数を比較
• テキストがどのようにトークンに分割されるかを色分け表示
• トークンIDをテキストにデコードしてエンコーディングを検証