Pretraining large language models with MXFP4 on Native FP4 Hardware
Di cosa parla
Si sperimenta l’addestramento di grandi modelli usando numeri a precisione molto bassa (FP4) per capire perché l’ottimizzazione a volte diverge anche se alcuni segnali restano stabili. Il problema emerge quando viene ridotto il segnale che aggiorna i pesi; rimedi casuali non bastano, mentre una trasformazione deterministica (rotazione di Hadamard) ristabilisce la stabilità. I test sono fatti su hardware con supporto nativo FP4.
Cosa permette di osservare
Permette di esplorare se i fallimenti nell’uso di formati numerici molto compatti dipendano da errori strutturati lungo percorsi sensibili degli aggiornamenti e se correzioni deterministiche possano rendere praticabile l’addestramento con FP4.
Dalla fonte
Why does full-pipeline FP4 training of large language models often diverge, even when forward activations and activation gradients remain stable? We address this question through a controlled study of MXFP4 quantization in transformer training, progressively enabling FP4 across forward propagation (Fprop), activation gradients (Dgrad), and weight gradients (Wgrad) while holding all other factors fixed. In full pretraining of Llama 3.1-8B on the C4 dataset, we observe that quantizing Wgrad is the primary driver of convergence degradation, whereas FP4 in Fprop and Dgrad alone introduces only modest additional token requirements. To interpret this behavior, we evaluate both structured and stochastic interventions under a controlled experimental setting. We find that stochastic rounding and randomized Hadamard rotations fail to stabilize training once Wgrad is quantized, whereas determinist…