Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models
Di cosa parla
Si parla di modelli linguistici “a diffusione”, che generano testo completando più posizioni insieme invece che una parola alla volta. Gli autori osservano che fissare presto una parola‑pivot di incertezza media può ridurre l’incertezza sulle altre parti del testo, permettendo di svelarne molte contemporaneamente. Propongono Ripple‑Pivot Search, un metodo senza addestramento che individua questi pivot e sceglie la loro assegnazione per accelerare la generazione mantenendo la qualità.
Cosa permette di osservare
Permette di esplorare se scegliere subito parole intermedie è una leva pratica per rendere più veloce la generazione di testo e come questa tattica si comporta su diversi compiti e modelli senza riaddestrare nulla.
Dalla fonte
Diffusion Large Language Models (dLLMs) have emerged as a competitive alternative to autoregressive language models, offering the potential for substantially faster inference through parallel decoding. Existing parallel decoding schedulers typically commit positions only after they meet a per-position criterion, overlooking how early commitments may benefit subsequent decoding. We identify a ripple effect in dLLM decoding: proactively committing a mid-entropy pivot position can induce a pronounced reduction in uncertainty across the remaining masked positions. This uncertainty reduction allows subsequent steps to unmask more tokens in parallel, thereby accelerating the overall decoding process. To exploit the ripple effect, we propose Ripple-Pivot Search (RPS), a novel training-free decoding method that seeks mid-entropy positions as promising candidate pivots (where to decode), and det…