Estime a quantidade de tokens do seu texto, conte palavras e caracteres e visualize os segmentos no navegador.
Modelos de IA nao leem texto como humanos. Eles dividem o conteudo em tokens — pedacos de palavras, palavras inteiras ou ate espacos e pontuacao. Em portugues, 1 token equivale a aproximadamente 3-4 caracteres. A contagem de tokens determina o custo de uso e o limite de contexto de cada modelo.
Esta ferramenta faz uma estimativa por padrões de texto. Ela não executa o vocabulário BPE completo de um modelo específico. O resultado pode variar por idioma e modelo; para custos e limites exatos, use o tokenizador oficial do modelo.
Estimativa de tokens por segmentação de texto; o total pode diferir do tokenizer de cada modelo.
