Calculadora de Tokens de IA

Como funciona la tokenizacion?

Los modelos de IA no leen texto como los humanos. Dividen el contenido en tokens — fragmentos de palabras, palabras completas o incluso espacios y puntuacion. En espanol, 1 token equivale a aproximadamente 3-4 caracteres. El conteo de tokens determina el costo de uso y el limite de contexto de cada modelo.

Esta herramienta usa una estimacion basada en el algoritmo BPE (Byte Pair Encoding), similar al tokenizador cl100k_base usado por GPT-4. La precision es de aproximadamente 95%.