Confronto tra Diffusion e modelli autoregressivi: DLM più paralleli ma meno scalabili su contesti lunghi

Sintesi. Un paper pubblicato ad agosto 2026 analizza caratteristiche prestazionali di Diffusion Language Models (DLM) rispetto agli Autoregressive Language Models (ARM). Gli autori combinano analisi teorica e profilazione empirica per mostrare che i DLM offrono maggiore arithmetic intensity grazie alla generazione parallela sui token, ma presentano difficoltà a scalare con contesti lunghi. Soluzioni come il block-wise decoding migliorano la scalabilità; ridurre i passi di campionamento resta cruciale per ridurre la latenza dei DLM.

Cosa è successo

Lo studio, firmato da Minseo Kim, Coleman Hooper, Aditya Tomar, Chenfeng Xu, e altri, confronta ARMs e DLMs tramite analisi teorica e misure di profiling. I risultati indicano che i DLM sfruttano parallelismo sulla posizione dei token per aumentare l'arithmetic intensity, ma degradano con l'aumentare della lunghezza del contesto. Gli autori testano anche il block-wise decoding per DLMs, analizzano l'inferenza in batch e concludono che gli ARM ottengono throughput superiore nel batching. Il lavoro segnala la riduzione dei passi di sampling come leva chiave per abbassare la latenza dei DLM open source.

Perché è rilevante

La ricerca mette in luce trade-off pratici tra due paradigmi emergenti di generazione testuale: mentre i DLM possono teoricamente sfruttare parallelismo su posizioni multiple del testo, nella pratica incontrano limiti nella gestione di contesti lunghi e nel batching. Questo orienta l'attenzione su ottimizzazioni di sistema (es. block-wise decoding) e su obiettivi concreti per la ricerca e l'ingegneria — in particolare la necessità di ridurre i passi di campionamento per rendere i DLM competitivi in latenza rispetto agli ARM.

Contesto

Il lavoro si inserisce nel filone recente che esplora DLM come alternativa agli ARMs, citando studi che ne discutono scala, addestramento e adattamento dagli AR. Gli autori osservano che i DLM sono stati finora studiati a scala minore rispetto agli ARM e che addestrarli da zero su larga scala è complesso; il paper offre analisi di performance piuttosto che nuove architetture di modello.

Fonte: machinelearning.apple.com