Estime los tokens de su texto, cuente palabras y caracteres y visualice los segmentos en su navegador.
Los modelos de IA no leen texto como los humanos. Dividen el contenido en tokens — fragmentos de palabras, palabras completas o incluso espacios y puntuacion. En espanol, 1 token equivale a aproximadamente 3-4 caracteres. El conteo de tokens determina el costo de uso y el limite de contexto de cada modelo.
Esta herramienta estima tokens mediante patrones de texto. No ejecuta el vocabulario BPE completo de un modelo específico. Los resultados varían según el idioma y el modelo; utilice el tokenizador oficial para calcular costos y límites exactos.
Estimación de tokens por segmentación de texto; el total puede diferir del tokenizador de cada modelo.
