Diffuse to Compress: Leveraging Diffusion LMs for Lossless Compression
Di cosa parla
Si esplora l’uso dei modelli di diffusione linguistica per la compressione senza perdita di testi — cioè ridurre lo spazio occupato da testi e codice senza perdere informazioni — come alternativa ai modelli che generano un simbolo alla volta, causa della loro lentezza. Gli autori propongono strategie per adattare questi modelli ai vincoli della compressione e mostrano, tramite esperimenti, un miglioramento rispetto ai compressori generici e alle soluzioni basate su modelli linguistici tradizionali.
Cosa permette di osservare
Consente di valutare se i modelli di diffusione possono rendere la compressione senza perdita più rapida ed efficiente rispetto agli approcci attuali, e quali scelte algoritmiche e progettuali sono necessarie per farli funzionare in questo ruolo.
Dalla fonte
We study the problem of lossless text compression, motivated by the rapid growth in the collection and storage of digital textual data - including plain text, source code, and structured formats such as XML - and by recent advances in neural language model-based compression. In particular, recent LLM-based approaches, whether built on symbol-ranking pipelines or paired with a statistical compressor, have demonstrated compression ratios significantly superior to general-purpose compressors such as zstd, gzip, or bzip on text and code. However, these neural approaches suffer from severe throughput limitations, making them not yet practically usable. For the first time in the context of lossless neural text compression, we introduce Diffusion Language Models (DLMs) as an alternative inference paradigm to autoregressive LLM-based approaches. We argue that replacing autoregressive LLMs with…