“No quiero que me toquen…” canta Charly García en No Toquen. Hace unos días me descubrí cambiándole mentalmente una palabra: no quiero que me token.

No porque tenga algo contra la inteligencia artificial. Al contrario. Me interesa más pensar qué nos está pasando con el lenguaje que discutir si un modelo es mejor que otro.

Hay palabras que aparecen sin pedir permiso, se nos meten como norma y, en muy poco tiempo, empiezan a organizar conversaciones enteras. Hace algunos años nadie hablaba de algoritmos o  eran otra cosa. Después llegaron los prompts. Ahora hablamos de tokens.

La palabra circula con una naturalidad absoluta. Se compran millones de tokens, se comparan modelos por la cantidad de tokens que admiten, se calculan presupuestos según los tokens consumidos y hasta empezamos a medir una conversación con esa unidad. Todo sucede como si un token fuera algo tan evidente como una palabra o una página.

Pero un token no es una palabra o una letra ni una sílaba, tampoco es una oración.

Puede ser una palabra completa, una parte de una palabra, un signo de puntuación o una combinación de caracteres. La misma frase puede dividirse de maneras distintas según el modelo que la procese. Lo decide cada empresa. Lo decide cada tokenizador. No existe una medida universal.

No pertenece al idioma. Pertenece a la arquitectura de una máquina.

Las computadoras necesitan simplificar el mundo para poder calcularlo, pero esa solución interna de ingeniería ha salido del laboratorio para convertirse en una unidad económica con la que empezamos a medir nuestro trabajo, nuestras ideas y hasta nuestras conversaciones.

Nadie compra una novela preguntando cuántos tokens tiene, aunque claude me dice que use más token de los que hace falta para escribir Dune!

Ningún escritor sabe cuántos tokens escribió en su último libro aunque ahora se escriben muchos más libros gracias a los tokens… Ahora estamos en esa, empresas de todo el mundo ya toman decisiones económicas importantes basándose exactamente en esa unidad.

Hace unas semanas un desarrollador de la fintech Slash terminó consumiendo más de 80.000 dólares en tokens utilizando Claude para crear un pequeño videojuego experimental. No contrató un estudio de desarrollo. No compró computadoras. No alquiló servidores. La factura apareció casi exclusivamente por el consumo de una unidad que, fuera del mundo de la inteligencia artificial, prácticamente nadie puede definir con precisión.

Obviamente este no es un caso aislado es algo que se viene repitiendo en diferentes ámbitos.

Microsoft que despidió a más de 9 mil empleados para reemplazarlos con IA ahora empezó a restringir el acceso interno a algunas herramientas de programación asistida por IA cuando descubrió que el consumo de tokens crecía mucho más rápido de lo previsto (los empleados eran más baratos). Uber agotó buena parte del presupuesto destinado a inteligencia artificial apenas comenzado el año. Grandes empresas empezaron a crear equipos dedicados exclusivamente a controlar el gasto en tokens, una tarea que hace apenas dos años ni siquiera existía.

Esto me pasa con los tokens. Después de meses usándolos (en Deep-seek, Chat Gpt y Claude principalmente) sigo sin tener la menor idea de cuánto va a costar una tarea. Abrís un PDF y puede consumir setenta mil tokens antes de haber hecho una sola pregunta. Le pedís que revise un repositorio de código y el contador empieza a correr sin que tengas ninguna forma de anticiparlo. Es una de las pocas unidades con las que convivimos todos los días y que nadie puede estimar. No existe una intuición sobre los tokens. Existe una factura cuando terminaste. 

Analizar una planilla de cálculo puede gastar mucho más que escribir varias páginas de texto.

Pedirle a una IA que programe un videojuego puede generar una factura de decenas de miles de dólares sin que el usuario tenga una forma razonable de preverlo.

No estamos frente a una unidad difícil de comprender, parece más bien  una unidad imposible de intuir. no pagamos por el conocimiento ni las ideas que además en general son nuestras y estan siendo extraídas.Tampoco pagamos exactamente por el tiempo de procesamiento.Pagamos por la forma en que una empresa decidió cortar el lenguaje en pedazos.

Si mañana OpenAI, Anthropic, Google o cualquier otra compañía modifican su tokenizador, el mismo texto puede consumir otra cantidad de tokens sin que nosotros hayamos cambiado una sola palabra.

Eso convierte al token en algo muy distinto de un metro, un litro o un kilogramo.No describe una propiedad del mundo. Describe una decisión privada y totalmente arbitraria que empieza a organizar mercados enteros.

No deja de sorprender la velocidad con la que incorporamos esas categorías. Primero aparecen escondidas dentro de una tecnología. Después sirven para nombrar una herramienta. Más tarde organizan la forma en que calculamos costos. Finalmente terminan modificando la manera en que pensamos.

De golpe dejamos de escribir palabras para producir tokens, de leer documentos para consumir contexto.

Cada vez que adoptamos sin discutir una forma de nombrar el mundo también aceptamos, aunque sea un poco, la manera en que otro decidió ordenarlo.