Language-Conditional Dequantization: Recovering What Quantization Steals from Non-English Languages
Di cosa parla
Comprimere molto i modelli linguistici peggiora le prestazioni in modo più grave per le lingue non inglesi rispetto all’inglese. Gli autori propongono una correzione posteriore che aggiunge, per ogni lingua, piccole modifiche ai pesi del modello già compresso; questo recupera buona parte della perdita sulle lingue non latine e migliora i risultati su compiti di conoscenza. Analizzano anche dove si concentra il danno nella rete: se nasce agli strati iniziali tende a propagarsi e resistere alle correzioni locali, mentre se emerge più in profondità è più facile da sistemare.
Cosa permette di osservare
Permette di esplorare come ridurre il danno della compressione mantenendo prestazioni per molte lingue e se è più efficace applicare correzioni mirate per lingua invece di rifare o riaddestrare l’intero modello.
Dalla fonte
Aggressive quantization disproportionately harms multilingual capability: in the sub-4B INT3 GPTQ regime, we measure 2-4x larger perplexity degradation on non-English languages than on English. We propose Language-Conditional Dequantization (LCD), a post-hoc method that attaches per-language rank-2 LoRA corrections to the linear layers of an already-quantized model, adding 0.12% parameters per language and training in under 20 minutes on a single GPU. Across Qwen2.5-3B and Llama-3.2-3B, LCD recovers 70-83% of the perplexity gap for non-Latin script languages and 17-28% of the GlobalMMLU accuracy gap, outperforming a language-agnostic correction of equal capacity by 3-9 points on typologically distant languages and a data-free low-rank baseline (LQER) by an order of magnitude. We further identify a perplexity-accuracy disconnect and trace it to where quantization concentrates damage: ear…