Herramientaschatgpt
ChatGPT tokenizer: cómo contar tokens y para qué
Usa el tokenizer oficial de OpenAI para contar tokens, entender el contexto y estimar el coste de API. Aprende qué incluye el recuento y qué no.
- Autor: humAIns
- 8 min de lectura
índice · 6 apartados
El tokenizer de OpenAI permite pegar texto y ver cómo puede dividirse en tokens, junto con el total. Sirve para explorar una muestra, comparar cómo se segmentan textos distintos y entender por qué los límites de contexto y el uso de API se expresan en tokens. No es, por sí solo, una factura ni un medidor universal de todo lo que recibirá un modelo.
Qué es un token y por qué no equivale siempre a una palabra o carácter
Un token es una unidad de texto que un modelo de lenguaje procesa. Puede ser una palabra completa, una parte de una palabra, una secuencia de signos o una combinación que incluya espacios. El tokenizador divide el texto conforme a una codificación; no corta siempre por espacios ni asigna un token a cada carácter.
Por eso, «una palabra = un token» no es una regla fiable. Una palabra común podría quedar como una unidad y otra menos frecuente o con una forma distinta podría dividirse en varias. También influyen tildes, puntuación, números, saltos de línea y el idioma. Dos frases de longitud parecida en caracteres pueden producir recuentos distintos.
OpenAI da como regla orientativa que, para texto común en inglés, un token suele corresponder aproximadamente a cuatro caracteres. La propia página limita esa aproximación al inglés: no conviene trasladarla al castellano ni usarla como recuento exacto. Para textos en español, comprueba el resultado con el tokenizer compatible con el modelo de interés.
Piensa en un informe con nombres propios, abreviaturas, tablas y cifras: contar letras o palabras no reproduce necesariamente la segmentación. En vez de calcular tokens a ojo, usa una muestra ficticia representativa y mira el resultado. No hace falta conocer cada fragmento para tomar una decisión práctica, pero sí distinguir una estimación de una medida de una solicitud completa.
Cómo usar el tokenizer oficial de OpenAI
La herramienta está en platform.openai.com/tokenizer. La página describe su objetivo: mostrar cómo un fragmento de texto puede tokenizarse y el total de tokens y caracteres. La interfaz pública muestra opciones agrupadas para familias de modelos, entre ellas GPT-5.x y O1/3, GPT-4 y GPT-3.5 (legacy), y GPT-3 (legacy). La disponibilidad puede cambiar; fíjate en las opciones visibles al usarla, no en capturas antiguas.
Prueba así:
- Abre el tokenizer oficial.
- Introduce un texto ficticio, por ejemplo una frase genérica de trabajo sin datos reales.
- Selecciona la familia o codificación disponible que corresponda a lo que quieres explorar.
- Lee el total de tokens y caracteres que muestra la página.
- Cambia el ejemplo o la opción y observa si el conteo varía.
El botón «Show example» permite cargar una muestra desde la interfaz; «Clear» limpia el contenido. No necesitas iniciar una generación de ChatGPT para explorar el contador web. Si la página cambia sus controles, toma como referencia lo que muestra actualmente y la documentación oficial enlazada desde ella.
Para un flujo de programación, OpenAI enlaza su paquete Python tiktoken. Un tokenizador local puede ser cómodo para texto plano y estimaciones repetidas. No lo confundas con el conteo de una solicitud completa: el método documentado para contar la entrada de Responses API puede recibir el mismo tipo de contenido que enviarías en la solicitud, incluidos mensajes, instrucciones, imágenes, archivos y herramientas. Revisa la guía de recuento de tokens de la API y el soporte del modelo concreto antes de montar un proceso.
Modelo, codificación y formato: qué cuenta una petición
El contador web responde a una pregunta acotada: cómo se tokeniza el texto que has introducido según la opción seleccionada. Una conversación real puede contener bastante más que ese texto visible. Las instrucciones, el rol de cada mensaje, los límites de los mensajes, las definiciones de herramientas o los esquemas también forman parte de la entrada procesada.
La guía de OpenAI explica que la estructura de la petición puede añadir tokens de formato que no aparecen en los campos de texto que tokenizas localmente. También indica que las herramientas y sus esquemas consumen tokens, y que las imágenes y archivos no se estiman de forma fiable con una división por caracteres. En esos casos, cuenta la entrada mediante el método de la API que corresponda, si está disponible para tu modelo y formato.
En una aplicación con historial, el contexto puede incluir turnos anteriores, no solo el mensaje nuevo. Para estimar una llamada, identifica con precisión qué mensajes, instrucciones y herramientas se enviarán. Si trabajas con una imagen, un PDF o contenido estructurado, inclúyelo en el procedimiento de recuento compatible en vez de asumir que basta con copiar una descripción textual.
La compatibilidad depende del modelo y de la codificación; un número obtenido con una opción no demuestra que el mismo número corresponda a otro modelo. Las funciones disponibles también evolucionan. Comprueba siempre las indicaciones actuales del tokenizer y la guía del modelo. Para comprender mejor las diferencias entre familias, consulta modelos de inteligencia artificial: tipos y usos y la diferencia entre LLM, IA y chatbot.
Contexto y precio de API: estima sin mezclar conceptos
La ventana de contexto es el máximo de tokens que un modelo puede procesar en una solicitud o interacción, según las condiciones de ese modelo. No es equivalente al número de caracteres del texto pegado, ni el tokenizer decide por sí solo cuál es el límite. Consulta la documentación del modelo: el límite puede variar y una conversación puede incluir historial, instrucciones y otros elementos además del último mensaje.
El coste de API es otro asunto. La API se factura según el modelo, el uso contabilizado —por ejemplo, tokens de entrada y de salida— y las tarifas vigentes. La suscripción o el uso de la aplicación ChatGPT no debe confundirse con la facturación de la API: consulta por separado la página de precios de API de OpenAI y la información de facturación del producto que uses. Los precios pueden cambiar; aquí no damos una cifra que debas tratar como vigente.
Puedes hacer una estimación con variables, sin inventar tarifas:
| Dato | Qué anotar |
|---|---|
| Entrada | Tokens de entrada medidos para la solicitud que enviarás |
| Salida | Tokens de salida que esperas o el límite que configures |
| Tarifa de entrada | Precio vigente del modelo por unidad publicada en la página de precios |
| Tarifa de salida | Precio vigente del modelo por unidad publicada en la página de precios |
Si la tarifa se publica por millón de tokens, la fórmula orientativa es: coste estimado = (tokens de entrada / 1.000.000 × tarifa de entrada) + (tokens de salida / 1.000.000 × tarifa de salida). Sustituye las variables por las tarifas y unidades exactas del modelo y verifica la factura real. La fórmula no incorpora automáticamente otras condiciones de facturación, descuentos o modalidades; tampoco predice la salida con certeza.
La aplicación ChatGPT tiene sus propios planes y condiciones de uso. Escribir en su interfaz no significa que estés usando tu clave de API, y pagar por acceso a ChatGPT no equivale a un saldo general de API. Si tu objetivo es controlar consumo, confirma qué producto, cuenta y modalidad estás usando antes de calcular.
Privacidad y limitaciones del recuento
No pegues en un sitio web datos de clientes, expedientes, contratos, información personal ni contenido confidencial solo para contar sus tokens. Usa frases inventadas o anonimiza de forma que no puedan reconstruirse datos identificables. El tokenizer sirve para examinar texto, no para evaluar si tienes autorización para compartirlo. Revisa también las políticas de tu organización y del servicio utilizado; en privacidad de ChatGPT: ajustes y datos que no debes subir tienes criterios para valorar información antes de usarla.
El contador del navegador tampoco sustituye una prueba de tu integración. Puede que el texto aislado tenga un tamaño, pero una petición con contexto, herramientas, archivos o imágenes tenga otro. Para decisiones de coste o límites, cuenta el payload completo por el método oficial compatible y verifica el uso registrado después de una llamada de prueba controlada.
En resumen: usa el tokenizer web para explorar texto plano, el método documentado de la API para contar entradas completas compatibles, y la página de precios vigente para cualquier estimación económica. No conviertas aproximaciones de inglés en reglas para español, ni tokens en caracteres exactos.
Si quieres aplicar IA a tareas reales sin perder de vista los datos que compartes, empieza por revisar cómo funciona ChatGPT y elige una formación práctica acorde a tu trabajo.
Preguntas frecuentes
¿Un token es una palabra?
No. Un token puede ser una palabra, parte de ella, signos o espacios. La codificación y el texto influyen en la segmentación; por eso el recuento no se obtiene contando palabras o caracteres.
¿El contador mide el contexto completo?
No necesariamente. El tokenizer web muestra el recuento del texto introducido. Instrucciones, mensajes anteriores, formato y herramientas pueden añadir elementos a la solicitud. Para una petición de API, usa el método de conteo con su contenido completo compatible.
¿Sirve para todos los modelos?
No hay que asumirlo. Selecciona una opción disponible para la familia que investigas y consulta la documentación vigente del modelo. En formatos multimodales o con herramientas, un contador de texto local no basta para asegurar el total.
¿Se paga por contar texto?
Usar la página web del tokenizer para inspeccionar texto no es lo mismo que generar una respuesta con la API. Las llamadas a la API tienen su propio sistema de precios y uso. Comprueba sus tarifas actuales antes de calcular costes.