Token e context window: come funziona la memoria di una chat AI
Quando interagiamo con un’intelligenza artificiale, abbiamo spesso l’impressione di parlare con un interlocutore dotato di una memoria pressoché infinita. Tuttavia, dietro le quinte di modelli come ChatGPT o altri LLM (Large Language Models), il funzionamento tecnico è regolato da parametri precisi che definiscono il modo in cui l’AI “legge” e “ricorda” le informazioni. Per chi si occupa di creare contenuti o vuole ottimizzare il proprio lavoro con l’AI, imparare a gestire questi limiti è fondamentale: ecco perché abbiamo deciso di scrivere questo articolo SEO per spiegare in modo chiaro come funzionano token e context window.
Cosa sono i token e perché non coincidono con le parole
Spesso si pensa che un modello linguistico legga il testo esattamente come noi, parola per parola. In realtà, l’AI scompone ogni input in unità più piccole chiamate token. Un token può essere una parola intera, ma molto più spesso è una porzione di essa, come una sillaba, un prefisso, un suffisso o persino un singolo carattere.
Per fare un esempio concreto, la parola “intelligenza” potrebbe essere un singolo token, mentre una parola più complessa o rara potrebbe essere divisa in tre o quattro pezzi. In media, nel contesto della lingua inglese, 1.000 token corrispondono a circa 750 parole. In italiano, il rapporto può variare leggermente a causa della struttura morfologica della nostra lingua, ma la logica rimane la stessa: l’AI non conta le parole, conta i token.
Questo sistema serve al modello per elaborare il linguaggio in modo efficiente dal punto di vista computazionale. Quando inviamo un prompt, il sistema trasforma il nostro testo in una sequenza di numeri (vettori) che rappresentano questi token, permettendo al modello di calcolare statisticamente quale sarà il token successivo più probabile in una determinata sequenza.
La context window: il limite della memoria a breve termine
Se i token sono gli “atomi” del linguaggio, la context window rappresenta lo spazio di lavoro dell’intelligenza artificiale. Possiamo immaginarla come una scrivania: la dimensione della context window è l’ampiezza di quella scrivania su cui il modello può appoggiare i documenti che sta leggendo in quel momento.
La context window determina quanta informazione (quanti token) il modello può tenere presente simultaneamente durante una conversazione o l’analisi di un file. Se la finestra è di 32.000 token, il modello potrà “vedere” solo quella quantità di testo. Una volta superato questo limite, il modello inizierà a dimenticare le informazioni che si trovavano all’inizio della conversazione, poiché queste usciranno fisicamente dalla sua “scrivania” di lavoro per far posto ai nuovi input.
Cosa succede quando la conversazione diventa troppo lunga
Quando il volume totale di token (input dell’utente più output del modello) supera la capacità della context window, si verifica un fenomeno di “dimenticanza”. Il modello non ha una memoria infinita; quando lo spazio è saturo, il sistema espelle i pezzi di conversazione più vecchi.
Se stai analizzando un documento PDF molto lungo o stai gestendo una chat che dura da giorni, potresti notare che l’AI inizia a perdere il filo. Magari non ricorda più le istruzioni che hai dato all’inizio o ignora i dati contenuti nelle prime pagine del file che hai caricato. Questo non significa che il modello sia rotto, ma semplicemente che quelle informazioni non sono più presenti nel suo “campo visivo” immediato.
Distinzioni fondamentali: memoria, conoscenze e contesto
È necessario fare chiarezza tra vari tipi di “memoria” che spesso vengono confusi.
Conoscenze del modello
Le conoscenze del modello sono le informazioni apprese durante la fase di addestramento (pre-training). Queste sono fisse e non cambiano in base alla nostra conversazione. Se chiedi chi è Dante Alighieri, l’AI risponde attingendo a questa base di dati globale.
Memoria della conversazione
Questa è la context window di cui abbiamo parlato. È la memoria temporanea che vive solo finché la chat è aperta. È dinamica e si aggiorna a ogni nuovo messaggio.
Memoria persistente
Alcuni servizi offrono funzionalità di memoria persistente, ovvero una zona di archiviazione dove il sistema salva preferenze o fatti specifici su di te che vengono richiamati in ogni chat. Non fa parte della context window immediata, ma viene “iniettata” nel contesto ogni volta che inizi una nuova sessione.
Esempi pratici di gestione della context window
L’importanza della context window emerge chiaramente in scenari di lavoro quotidiano:
– Analisi di PDF: Se carichi un manuale tecnico da 200 pagine, il modello deve caricare l’intero testo nella context window. Se il manuale supera la capacità del modello, dovrai analizzarlo per capitoli o sezioni.
– Codice sorgente: Quando chiedi all’AI di correggere un software, questa deve leggere tutti i file correlati. Se il progetto è troppo grande, il modello perderà i riferimenti alle funzioni definite nei file che sono stati “espulsi” dalla memoria.
– Conversazioni lunghe: In un thread di chat che dura settimane, le istruzioni iniziali (come “rispondi sempre in modo formale”) potrebbero essere dimenticate se la mole di messaggi scambiati nel frattempo è enorme.
Il paradosso della context window ampia
Si potrebbe pensare che una context window vastissima sia sempre la soluzione migliore. Tuttavia, esiste un limite noto come “lost in the middle”. Studi recenti hanno dimostrato che i modelli tendono a prestare molta attenzione alle informazioni poste all’inizio e alla fine del contesto, ma possono diventare meno precisi con i dati inseriti nel mezzo.
Avere una finestra di 128.000 token non garantisce che l’AI sarà più intelligente; significa solo che può leggere più materiale. Se il materiale è disordinato o irrilevante, il modello rischia di essere confuso o di fornire risposte meno pertinenti, poiché il rumore di fondo aumenta proporzionalmente alla lunghezza del testo.
Prompt, output e limiti di risposta
Oltre alla context window, dobbiamo considerare il numero massimo di token di output. Anche se il modello può leggere 100.000 token, spesso ha un limite molto più stretto (ad esempio 4.096 token) per la singola risposta generata. Questo significa che, anche se hai caricato un libro intero, l’AI non potrà scriverne uno nuovo in una singola risposta, ma dovrà procedere per blocchi. Il prompt che invii, quindi, deve essere bilanciato: deve essere abbastanza dettagliato da guidare l’AI, ma non così lungo da occupare inutilmente spazio prezioso nella context window.
Tabella riassuntiva dei parametri AI
| Concetto | Descrizione | Impatto sulla Chat |
| :— | :— | :— |
| Token | Unità minima di elaborazione | Determina il costo e la velocità |
| Context Window | Spazio di memoria a breve termine | Determina quanto testo puoi analizzare |
| Memoria Persistente | Dati salvati tra sessioni diverse | Personalizza l’esperienza nel tempo |
| Output Max | Limite di lunghezza della risposta | Definisce quanto può essere lungo il testo generato |
Conclusione
Comprendere come funzionano i token e la context window è la chiave per passare da un uso amatoriale a un uso professionale dell’intelligenza artificiale. Sapere quando sintetizzare le informazioni, come suddividere i documenti lunghi e come gestire la cronologia della chat ti permetterà di ottenere risultati molto più precisi e coerenti. Se hai trovato utile questo approfondimento, continua a seguire il nostro blog per altri consigli su come ottimizzare il tuo rapporto con la tecnologia.
FAQ (Domande frequenti)
Perché l’AI a volte dimentica ciò che ho scritto poco prima?
Probabilmente hai raggiunto il limite della context window e i messaggi precedenti sono stati eliminati per fare spazio ai nuovi. Prova ad avviare una nuova chat se l’argomento cambia radicalmente.
1.000 token a quante parole corrispondono?
In media 1.000 token equivalgono a circa 750 parole in inglese. In italiano, il conteggio può variare leggermente a causa della complessità della lingua.
Posso aumentare la context window del mio modello?
No, la dimensione della context window è una caratteristica tecnica definita dagli sviluppatori del modello (come OpenAI o Anthropic). Non può essere modificata dall’utente.
Perché il modello perde informazioni importanti in un testo lungo?
Si tratta del fenomeno “lost in the middle”: i modelli tendono a dare priorità all’inizio e alla fine del contesto, perdendo precisione sulle informazioni collocate nella parte centrale.
Come posso evitare che l’AI dimentichi le mie istruzioni?
Puoi inserire le tue istruzioni fondamentali (come il tono di voce o il formato desiderato) nella sezione “Custom Instructions” o “Memoria”, se il servizio lo permette, in modo che vengano sempre incluse nel contesto.
