Tokenisierer

Verwendung

Geben Sie Text ein oder fügen Sie ihn ein, um zu sehen, wie verschiedene KI-Modelle ihn tokenisieren. Die Tokenisierung ist der erste Schritt bei der Textverarbeitung durch LLMs — sie zu verstehen hilft bei Prompt-Engineering, Kostenschätzung und Fehlerbehebung.

• Echtzeit-Tokenisierung während der Eingabe — sofortige Anzeige von Token-IDs und Zählwerten
• Vergleichen Sie Token-Anzahlen über vier verschiedene Modellfamilien hinweg (GPT-4o, GPT-4, text-davinci-003, GPT-2)
• Farbcodierte Token-Visualisierung, die zeigt, wie Text in Token aufgeteilt wird
• Dekodieren Sie Token-IDs zurück in Text, um die Kodierung zu überprüfen und zu verstehen