Come funzionano gli LLM? Tokenizzazione e generazione

Un modello linguistico non comprende il linguaggio come lo comprendiamo tu e io. Dà un’impressione molto convincente: risponde in modo pertinente, spiega metafore e può perfino riconoscere una battuta poco riuscita. Sotto il cofano, però, non c’è una piccola persona con il dizionario. C’è un’enorme macchina di calcolo.

Guardiamo sotto il cofano. Capirai meglio come funziona un Large Language Model e, lungo il percorso, imparerai a dargli compiti migliori senza confondere la fluidità con la conoscenza.

Tokenizzazione: dividere il linguaggio in unità

Per te un testo è fatto di lettere, parole, frasi e paragrafi. Un modello linguistico comincia invece dai token: frammenti di testo numerati che, a seconda del tokenizer, possono corrispondere a una parola intera, una parte di parola, un segno di punteggiatura o perfino un singolo carattere.

Prendiamo questa frase italiana:

Questa parte del processo è facile da spiegare.

Il tokenizer o200k_base di OpenAI la divide in undici token:

["Qu", "esta", " parte", " del", " processo", " è", " facile", " da", " spieg", "are", "."]

Gli spazi iniziali di alcuni elementi fanno parte del token. Un altro modello o tokenizer può produrre una suddivisione diversa. Per questo la nota regola «un token equivale a circa quattro caratteri» è soltanto una stima ragionevole per l’inglese. Il rapporto cambia con la lingua, il vocabolario e il sistema di scrittura.

Puoi sperimentare con il Tokenizer di OpenAI. Nella sua guida ai token OpenAI ricorda inoltre che spazi, maiuscole, parti di parola e punteggiatura influenzano la divisione.

Che cosa vale la pena ricordare?

Un token non coincide con una parola.
La divisione dipende dal tokenizer e dalla sequenza esatta di caratteri.
Una maiuscola, uno spazio iniziale o un simbolo speciale possono cambiare i token.
Le forme lunghe o rare nei dati di addestramento vengono più spesso spezzate.
Il numero di token incide sulla finestra di contesto, sul lavoro computazionale e spesso sul prezzo delle API.

Qui serve una correzione importante. Il tokenizer non comprende ancora il significato. La parola italiana «penna» può indicare uno strumento per scrivere o una piuma. Se grafia e posizione sono identiche, non riceve automaticamente un token diverso perché cambia il senso. Sono gli strati successivi a usare il resto della frase per costruire rappresentazioni differenti.

La tokenizzazione, quindi, non traduce il linguaggio in significato. Taglia la materia prima in pezzi numerati.

Embedding: dagli identificatori alle posizioni in uno spazio vettoriale

L’ID di un token all’inizio è solo un indice. Il numero associato a «Qu» non contiene in sé il significato di quel frammento. Per poter calcolare, la rete assegna a ogni token un vettore: una lista di molti numeri. Questa rappresentazione si chiama embedding.

Perché una lista invece di un singolo numero? In un elenco alfabetico «lampada» potrebbe finire più vicina a «lampo» che ad «abat-jour». Sarebbe poco utile per lavorare con la lingua. In uno spazio con molte dimensioni, invece, il sistema può imparare rappresentazioni nelle quali gli usi simili assumono configurazioni vicine.

Per costruire un’immagine mentale bastano due assi inventati:

quanto è concreto o astratto qualcosa?
compare più spesso in un contesto positivo o negativo?

«Lampada» e «abat-jour» potrebbero allora risultare più vicini tra loro che a «speranza». I modelli reali, però, non ricevono migliaia di assi etichettati dagli esseri umani. Durante l’addestramento imparano caratteristiche numeriche che aiutano a ridurre l’errore di previsione. Una singola dimensione non significa in modo pulito «concretezza» o «simpatia».

Soprattutto, l’embedding iniziale non è il significato finale. Il token «penna» parte dalla stessa rappresentazione di base. Attraversando gli strati del Transformer, questa viene modificata dai token circostanti. «La penna ha finito l’inchiostro» produce così uno schema contestuale diverso da «La penna dell’aquila è caduta».

La guida di Google sugli embedding statici e contestuali spiega proprio questa distinzione. È più aderente alla realtà tecnica dell’idea secondo cui ogni parola possiede per sempre un unico punto interpretabile nello spazio.

Il numero di dimensioni varia in base al modello e allo strato. Non esiste una regola generale secondo cui un LLM moderno attribuisce esattamente 12.000 «parametri di significato» a ogni token.

Perché le GPU sono così utili? Non perché «vedono lo spazio», ma perché possono eseguire in parallelo un’enorme quantità di operazioni su matrici e vettori. Gran parte del lavoro di addestramento e inferenza consiste proprio in questi calcoli.

Transformer e attention: quali parti del contesto contano?

Un vettore isolato non risolve il problema del linguaggio. Il modello deve considerare le relazioni tra i token.

Prendiamo questa frase:

Il ragazzo, la cui nonna ha comprato l’altro ieri una moto Harley-Davidson, sale verso la scuola sulla collina.

Chi sale? Il ragazzo. Che cosa è stato comprato? La moto. Chi l’ha comprata? La nonna. Le parole legate tra loro non sono sempre vicine.

Qui entra in gioco la self-attention. Per ogni token, il Transformer calcola query, key e value. Semplificando, stabilisce quanto peso assegnare alle altre posizioni mentre aggiorna la rappresentazione corrente. Più teste di attention possono imparare contemporaneamente tipi diversi di relazione.

Pubblicato nel 2017, il paper Attention Is All You Need non ha inventato ogni forma di attenzione nelle reti neurali. La sua svolta è stata proporre un’architettura Transformer senza ricorrenza e convoluzioni, capace di elaborare le sequenze in modo molto più parallelo.

Un Transformer non «legge» nemmeno come farebbe un editor. Calcola pesi e trasforma vettori. Alcuni schemi di attention possono essere interpretati a posteriori, ma un peso alto non è da solo la spiegazione completa del motivo per cui il modello ha prodotto una risposta.

Un modello mentale più utile è questo:

la tokenizzazione fornisce frammenti di testo;
gli embedding li trasformano in rappresentazioni numeriche;
l’informazione posizionale indica dove si trova ogni frammento;
la self-attention mescola in ogni rappresentazione le parti rilevanti del contesto;
molti strati ripetono l’operazione e costruiscono schemi contestuali sempre più ricchi.

Generazione: una distribuzione, poi una scelta

Dopo aver elaborato il contesto disponibile, un modello autoregressivo calcola le probabilità del token successivo. Non riceve subito una risposta completa, ma una distribuzione tra molte continuazioni possibili.

Per l’inizio

Una buona campagna pubblicitaria è…

potrebbero essere plausibili varie conclusioni:

«… una campagna che vende.»
«… un investimento, non un costo.»
«… la base di una crescita sostenibile.»
«… valida quanto il problema che risolve.»

La lista è un esempio didattico, non una misurazione estratta da un modello preciso. In un sistema reale, una strategia di decodifica o campionamento sceglie un token dalla distribuzione calcolata. Il token viene aggiunto al contesto e il calcolo ricomincia. Il testo nasce un token alla volta.

Due parametri ricorrono spesso:

La temperatura modifica la forma della distribuzione. Un valore basso concentra maggiormente la scelta sui token probabili; uno alto rende accessibili opzioni meno probabili. Non aggiunge conoscenza né creatività al modello. Modifica la casualità della scelta.
top_p indica il nucleus sampling. Restano candidati soltanto i token del più piccolo insieme la cui probabilità cumulata raggiunge la soglia scelta. Con top_p: 0.9, quindi, si conserva un insieme che copre almeno il 90% della probabilità.

OpenAI descrive entrambi nella documentazione API. L’interfaccia di ChatGPT non li mostra necessariamente agli utenti comuni. Personalità, stili di scrittura e livelli di ragionamento non sono semplici sinonimi di temperatura e top_p: possono dipendere da istruzioni di sistema, modelli e processi diversi.

Che cosa cambia per i prompt?

Quando capisci che, alla base, il modello genera una continuazione token dopo token, il prompting assomiglia meno alla lettura del pensiero e più a un buon brief.

Se scrivi soltanto:

Crea una strategia di marca.

manca quasi tutto ciò che distingue una risposta specifica da una generica. Il modello finirà probabilmente su titoli familiari e formule già viste.

Con un punto di partenza concreto cambia invece il contesto rilevante:

Sei uno strategist di marca. Lavori con un’azienda italiana di software B2B che ha perso il 20% dei lead qualificati dopo un cambio di posizionamento. Analizza prima tre cause plausibili. Fai domande se mancano dati sul pubblico, sul percorso d’acquisto o sui concorrenti. Non scrivere ancora la strategia finale.

Il modello non è diventato improvvisamente più intelligente. Ha però più informazioni per individuare le continuazioni adatte al compito.

Lo stesso vale per lo stile:

Tono: concreto e preciso, con una leggera ironia. Niente linguaggio da coach, niente punti esclamativi e nessuna formula come «in un mercato in continua evoluzione».

Un testo di riferimento è spesso più forte di una lunga lista di aggettivi astratti. Inserisce direttamente nel contesto ritmo, lessico e lunghezza dei paragrafi.

I confini valgono più delle formule magiche

Quando un modello non conosce un’informazione, l’istruzione «Non inventare» non garantisce una risposta corretta. Può ancora produrre una fonte, un numero o una definizione plausibili ma falsi. Dei buoni vincoli riducono il rischio, non lo eliminano.

È più utile una consegna verificabile:

Usa esclusivamente le fonti allegate. Giustifica ogni numero indicando nome del documento e sezione. Se le fonti non bastano, specifica quale informazione manca e non completare la risposta con supposizioni.

Poi resta la regola più importante: aprire la fonte, controllare l’affermazione, assumersi la responsabilità.

I prodotti AI moderni, inoltre, non sono soltanto un modello nudo. Istruzioni di sistema, retrieval, ricerca sul web, strumenti, regole di sicurezza e passaggi di ragionamento aggiuntivi possono cambiare il risultato. Il modello sottostante continua a generare token, ma il prodotto può svolgere altro lavoro prima, durante e dopo la generazione.

In pratica, un buon brief assomiglia quindi alle istruzioni per un collaboratore velocissimo, molto colto e talvolta terribilmente sicuro di sé:

Qual è il compito?
Quale contesto conta?
Quali fonti sono ammesse?
Quale forma deve avere il risultato?
Quando deve fermarsi e fare domande?
Chi controllerà il risultato?

Non una mente artificiale, ma un modello utile

La storia dell’intelligenza artificiale non racconta il risveglio improvviso di una macchina. Racconta il tentativo paziente di trasformare la complessità in qualcosa che si possa calcolare, testare e migliorare.

Dai semplici neuroni artificiali alle regole IF–THEN, dai modelli statistici e dalla backpropagation fino ai Transformer e ai sistemi multimodali, ogni fase ha mantenuto alcune promesse e ne ha deluse altre. Molte idee non sono state buttate: sono finite sullo scaffale «troppo presto».

I modelli linguistici di oggi non sono la conclusione della storia. Diverse idee precedenti funzionano finalmente insieme: enormi quantità di dati, architetture adatte, hardware potente e addestramento su vasta scala. Per questo la statistica comincia ad assomigliare a una competenza.

La distinzione è importante soprattutto nel marketing. Un LLM non possiede un’intenzione di marca, un’ambizione o una propria ragione per dire qualcosa. È invece straordinariamente efficace nel riprodurre e ricombinare schemi: stili, narrazioni, strutture argomentative, cliché e scorciatoie culturali.

Questo sposta il confine tra pensare ed eseguire. Dove una persona doveva scrivere a mano venti varianti, il sistema può generarle in pochi secondi. La decisione non diventa meno importante, ma più visibile: quale variante è vera? Quale appartiene al brand? Quale merita di essere pubblicata?

Alla fine della strada non ci aspetta un collega artificiale con una visione. Ci aspetta qualcosa di più sobrio e spesso più utile: un’eco statistica dei testi, delle immagini, dei dati e delle decisioni prodotti dagli esseri umani.

Un’eco può rispondere in modo sorprendentemente efficace. A patto che tu faccia una domanda sensata e sappia verificare la risposta.

Leggi altri articoli su come lavorare con l’AI

Come funzionano gli LLM? Tokenizzazione, vettori e generazione