Setting a World Record for MoE Pre-Training on NVIDIA GB300 NVL72
Di cosa parla
NVIDIA segnala di aver stabilito un record mondiale nell'addestramento iniziale di modelli che usano la "mixture of experts" (MoE): un'architettura in cui diverse parti specializzate del modello si occupano di compiti diversi. L'annuncio riguarda un esperimento condotto sul suo hardware e si concentra sul problema di spostare i limiti dell'addestramento su larga scala, cercando modi diversi e più efficienti di usare le risorse.
Cosa permette di osservare
Permette di esplorare se adottare architetture come la MoE, insieme a specifiche scelte hardware, può cambiare le regole dell'addestramento di AI su vasta scala e quali compromessi tecnici o operativi comporta questa via.
Dalla fonte
Frontier model pre-training has converged on mixture of experts (MoE), which is fundamentally changing what limits large-scale AI training. As compute per token...