¿Cómo funcionan los LLM? Tokenización, vectores y generación

Un modelo de lenguaje no entiende el lenguaje como lo entendemos tú y yo. Ofrece una impresión muy convincente: responde de forma pertinente, explica metáforas e incluso puede reconocer un chiste malo. Sin embargo, bajo el capó no hay una persona diminuta con un diccionario. Hay una enorme máquina de cálculo.

Vamos a mirar bajo el capó. Entenderás mejor cómo funciona un Large Language Model y, de paso, aprenderás a darle mejores tareas sin confundir fluidez con conocimiento.

Tokenización: dividir el lenguaje en unidades

Para ti, un texto está formado por letras, palabras, frases y párrafos. Un modelo de lenguaje empieza procesando tokens: fragmentos de texto numerados que, según el tokenizador, pueden corresponder a una palabra completa, una parte de una palabra, un signo de puntuación o incluso un carácter.

Tomemos esta frase en español:

Esta parte del proceso es fácil de explicar.

El tokenizador o200k_base de OpenAI la divide en nueve tokens:

["Esta", " parte", " del", " proceso", " es", " fácil", " de", " explicar", "."]

Los espacios iniciales de algunos elementos forman parte del token. Otro modelo o tokenizador puede producir una división distinta. Por eso la conocida regla «un token equivale a unos cuatro caracteres» solo es una aproximación razonable para el inglés. La proporción varía según la lengua, el vocabulario y el sistema de escritura.

Puedes hacer pruebas con el Tokenizer de OpenAI. En su guía sobre tokens, OpenAI recuerda además que los espacios, las mayúsculas, las partes de palabra y la puntuación afectan a la división.

¿Qué conviene recordar?

Un token no es una palabra.
La división depende del tokenizador y de la secuencia exacta de caracteres.
Una mayúscula, un espacio inicial o un símbolo especial pueden cambiar los tokens.
Las formas largas o poco frecuentes en los datos de entrenamiento suelen dividirse en más fragmentos.
El número de tokens influye en la ventana de contexto, el trabajo de cálculo y, a menudo, el precio de las API.

Aquí hace falta una corrección importante. El tokenizador todavía no entiende el significado. La palabra española «banco» puede ser una entidad financiera o un asiento. Si la grafía y la posición son idénticas, no recibe automáticamente otro token porque cambie el sentido. Son las capas posteriores las que utilizan el resto de la frase para construir representaciones diferentes.

Por tanto, tokenizar no significa traducir el lenguaje a significado. Significa cortar la materia prima en piezas numeradas.

Embeddings: de identificadores a posiciones en un espacio vectorial

El ID de un token es al principio solo un índice. El número asociado a «Esta» no contiene por sí mismo el significado del fragmento. Para poder calcular, la red asigna a cada token un vector: una lista de muchos números. Esa representación se llama embedding.

¿Por qué una lista en lugar de un único número? En una lista alfabética, «lámpara» quizá quedaría más cerca de «lámina» que de «pantalla». Sería poco útil para tratar el lenguaje. En un espacio con muchas dimensiones, el sistema puede aprender representaciones en las que los usos similares presentan configuraciones próximas.

Como experimento mental, imaginemos dos ejes inventados:

¿algo es concreto o abstracto?
¿aparece más a menudo en un contexto positivo o negativo?

«Lámpara» y «pantalla» podrían quedar entonces más cerca entre sí que de «esperanza». Sin embargo, los modelos reales no reciben miles de ejes etiquetados cuidadosamente por humanos. Durante el entrenamiento aprenden características numéricas que ayudan a reducir el error de predicción. Una dimensión concreta no significa limpiamente «materialidad» o «simpatía».

Y, sobre todo, el embedding inicial no es el significado final. El token «banco» parte de la misma representación básica. Al atravesar las capas del Transformer, esa representación se modifica con los tokens que la rodean. «El banco subió los tipos de interés» produce así un patrón contextual distinto de «Nos sentamos en el banco del parque».

La introducción de Google a los embeddings estáticos y contextuales explica precisamente esta diferencia. Es más fiel a la realidad técnica que imaginar que cada palabra posee para siempre un único punto interpretable dentro del espacio.

El número de dimensiones depende del modelo y de la capa. No existe una regla general por la que un LLM moderno asigne exactamente 12.000 «parámetros de significado» a cada token.

¿Por qué son tan útiles las GPU? No porque «vean espacios», sino porque pueden ejecutar en paralelo una gran cantidad de operaciones con matrices y vectores. Buena parte del entrenamiento y la inferencia consiste precisamente en esos cálculos.

Transformer y atención: ¿qué partes del contexto importan?

Un vector aislado no resuelve el problema del lenguaje. El modelo tiene que considerar las relaciones entre tokens.

Tomemos esta frase:

El chico, cuya abuela compró anteayer una moto Harley-Davidson, sube hacia la escuela situada en la colina.

¿Quién sube? El chico. ¿Qué se compró? La moto. ¿Quién la compró? La abuela. Esas relaciones no siempre aparecen entre palabras vecinas.

Aquí entra la autoatención o self-attention. Para cada token, el Transformer calcula consultas, claves y valores –query, key y value–. Simplificando, determina cuánto peso asignar a las demás posiciones mientras actualiza la representación actual. Varias cabezas de atención pueden aprender a la vez tipos de relación diferentes.

Publicado en 2017, el artículo Attention Is All You Need no inventó cualquier forma de atención en redes neuronales. Su gran aportación fue proponer una arquitectura Transformer sin recurrencia ni convoluciones, capaz de procesar secuencias de una manera mucho más paralela.

Un Transformer tampoco «lee» como un editor. Calcula pesos y transforma vectores. Algunos patrones de atención pueden interpretarse después, pero un peso alto no explica por sí solo por qué el modelo produjo una respuesta.

Un modelo mental más útil es este:

la tokenización proporciona fragmentos de texto;
los embeddings los convierten en representaciones numéricas;
la información posicional indica dónde se encuentra cada fragmento;
la autoatención mezcla en cada representación las partes relevantes del contexto;
muchas capas repiten la operación y construyen patrones contextuales cada vez más ricos.

Generación: una distribución y después una elección

Después de procesar el contexto disponible, un modelo autorregresivo calcula probabilidades para el siguiente token. No recibe inmediatamente una respuesta completa, sino una distribución entre muchas continuaciones posibles.

Para el comienzo

Una buena campaña publicitaria es…

podrían resultar plausibles varias continuaciones:

«… una campaña que vende».
«… una inversión, no un gasto».
«… la base de un crecimiento sostenible».
«… tan buena como el problema que resuelve».

La lista es un ejemplo didáctico, no una medición extraída de un modelo concreto. En un sistema real, una estrategia de decodificación o muestreo elige un token a partir de la distribución calculada. Ese token se añade al contexto y el cálculo vuelve a empezar. El texto aparece token a token.

Dos parámetros aparecen con frecuencia:

La temperatura modifica la forma de la distribución. Un valor bajo concentra la selección en los tokens más probables; uno alto hace accesibles opciones menos probables. No añade conocimiento ni creatividad al modelo. Cambia el grado de aleatoriedad de la elección.
top_p designa el nucleus sampling. Solo quedan como candidatos los tokens del conjunto más pequeño cuya probabilidad acumulada alcanza el umbral elegido. Con top_p: 0.9, se conserva un conjunto que representa al menos el 90% de la probabilidad.

OpenAI describe ambos parámetros en la documentación de la API. La interfaz habitual de ChatGPT no tiene por qué mostrárselos al usuario. Las personalidades, los estilos de escritura y los niveles de razonamiento no son simples sinónimos de temperatura y top_p: pueden depender de otras instrucciones de sistema, modelos y procesos.

¿Qué cambia esto en tus prompts?

Cuando entiendes que, en su núcleo, el modelo genera una continuación token a token, el prompting se parece menos a leer la mente y más a preparar un buen briefing.

Si escribes únicamente:

Crea una estrategia de marca.

falta casi todo lo que distingue una respuesta específica de una genérica. Lo más probable es que el modelo recurra a apartados familiares y clichés profesionales.

Con un punto de partida concreto cambia el contexto pertinente:

Eres estratega de marca. Trabajas con una empresa española de software B2B que ha perdido el 20% de sus leads cualificados después de cambiar su posicionamiento. Analiza primero tres causas plausibles. Haz preguntas si faltan datos sobre el público, el proceso de compra o la competencia. No redactes todavía la estrategia final.

El modelo no se ha vuelto más inteligente de repente. Dispone, sin embargo, de más información para identificar continuaciones adecuadas a la tarea.

Lo mismo ocurre con el estilo:

Tono: concreto y preciso, con una ironía discreta. Sin lenguaje de coach, sin signos de exclamación y sin fórmulas como «en un mercado en constante evolución».

Un texto de referencia suele ser más potente que una larga lista de adjetivos abstractos. Introduce directamente en el contexto el ritmo, el vocabulario y la longitud de párrafo deseados.

Los límites valen más que las fórmulas mágicas

Cuando un modelo desconoce algo, la instrucción «No inventes» no garantiza una respuesta correcta. Todavía puede producir una fuente, una cifra o una definición plausibles pero falsas. Unos buenos límites reducen el riesgo, pero no lo eliminan.

Es más útil una instrucción verificable:

Utiliza exclusivamente las fuentes adjuntas. Justifica cada cifra con el nombre del documento y la sección. Si las fuentes no bastan, indica qué información falta y no completes la respuesta con suposiciones.

Después sigue vigente la regla fundamental: abrir la fuente, comprobar la afirmación y asumir la responsabilidad.

Además, los productos modernos de IA no son solo un modelo desnudo. Instrucciones de sistema, recuperación documental, búsqueda web, herramientas, normas de seguridad y pasos adicionales de razonamiento pueden modificar el resultado. El modelo subyacente sigue generando tokens, pero el producto puede realizar más trabajo antes, durante y después de esa generación.

En la práctica, un buen briefing se parece a las instrucciones para un colaborador rapidísimo, muy leído y a veces terriblemente seguro de sí mismo:

¿Cuál es la tarea?
¿Qué contexto importa?
¿Qué fuentes están permitidas?
¿Qué forma debe adoptar el resultado?
¿Cuándo debe detenerse y preguntar?
¿Quién comprobará el resultado?

No una mente artificial, sino un modelo útil

La historia de la inteligencia artificial no trata del despertar repentino de una máquina. Trata del intento paciente de convertir la complejidad en algo que pueda calcularse, probarse y mejorarse.

Desde las neuronas artificiales sencillas y las reglas IF–THEN hasta los modelos estadísticos, la retropropagación, los Transformer y los sistemas multimodales, cada etapa cumplió unas promesas y falló en otras. Muchas ideas no terminaron en la basura, sino en una estantería con la etiqueta «demasiado pronto».

Los modelos de lenguaje actuales no son el final de la historia. Varias ideas anteriores funcionan por primera vez al mismo tiempo: enormes cantidades de datos, arquitecturas adecuadas, hardware potente y entrenamiento a gran escala. Por eso la estadística empieza a parecer competencia.

La diferencia es especialmente importante para el marketing. Un LLM no tiene intención de marca, ambición ni una razón propia para decir algo. En cambio, es extraordinariamente eficaz reproduciendo y recombinando patrones: estilos, relatos, estructuras argumentales, clichés y atajos culturales.

Eso desplaza la frontera entre pensar y ejecutar. Donde antes una persona debía escribir veinte variantes a mano, el sistema puede generarlas en segundos. La decisión no pierde importancia; se vuelve más visible: ¿qué variante es cierta? ¿Cuál pertenece a la marca? ¿Cuál merece publicarse?

Al final del camino no espera un compañero artificial con visión propia. Hay algo más sobrio y, a menudo, más útil: un eco estadístico de los textos, las imágenes, los datos y las decisiones creados por seres humanos.

Ese eco puede responder con una eficacia sorprendente. Siempre que hagas una pregunta sensata y sepas comprobar la respuesta.

Lee más artículos sobre cómo trabajar con IA