Lifecycle-Optimal Tokenization: Vocabulary Size as a Deployment-Regime-Dependent Infrastructure Parameter
Di cosa parla
Si esamina la scelta del "vocabolario" usato dai grandi modelli di linguaggio — cioè l'insieme di parole o frammenti con cui il testo viene spezzato — e si mostra che la dimensione ottimale non è fissa ma dipende da come il modello viene usato in produzione. Valutando il costo complessivo di addestramento e di uso operativo, gli autori trovano che scenari con poche richieste contemporanee favoriscono vocabolari più piccoli, mentre ambienti che processano molte richieste insieme favoriscono vocabolari molto più grandi; la qualità resta sostanzialmente invariata nella gamma ottimale, quindi la scelta diventa una questione di costi e infrastruttura.
Cosa permette di osservare
Permette di esplorare come bilanciare i costi di sviluppo e di esercizio per decidere la dimensione del vocabolario di un modello: cioè quale compromesso convenga a seconda del luogo e del modo in cui il modello sarà impiegato (su dispositivo personale o in datacenter).
Dalla fonte
Tokenizer vocabulary size is a foundational design choice in large language model (LLM) infrastructure, yet it is typically fixed at training time based on convention rather than deployment analysis. We show that the cost-optimal vocabulary is not a constant but a function of the serving regime. We formalize total deployment cost as $C_{lifecycle}(V) = C_{train}(V) + \lambda \cdot C_{infer}(V, B)$, where $\lambda$ is inference volume and $B$ is the serving batch size. Through controlled experiments on two GPU families spanning the memory-bound to compute-bound regimes (A10G, ridge $\approx$ 117 FLOP/byte; A100, ridge $\approx$ 183 FLOP/byte), we demonstrate: (1) the inference-optimal vocabulary shifts 16x with serving batch, from 32k at $B=1$ to 524k at $B=64+$, driven by amortization of the $V \times d$ unembedding matrix read; (2) at 1.3-2.3B model scale, quality (bits per byte, BPB)…