Weightless Fine-Tuning: Personalizing LLMs via Logit-Space Transport
Di cosa parla
Propone un modo per personalizzare grandi modelli di linguaggio senza aggiornare i pesi. Invece di riaddestrare, calcola scarti supervisionati sui testi dell'autore e li trasferisce al nuovo input tramite un meccanismo che stima come una piccola modifica in un contesto si ripercuote sulle predizioni. Sostituisce gli aggiornamenti dei parametri con correzioni sui punteggi interni usati per scegliere la parola successiva; nei test offre prestazioni paragonabili all'addestramento classico usando molto meno calcolo.
Cosa permette di osservare
Permette di esplorare se la personalizzazione può avvenire solo modificando le uscite del modello invece dei suoi pesi, e quanto questa strada riduca i costi e la complessità per adattare modelli a singoli autori.
Dalla fonte
Supervised fine-tuning (SFT) is a standard approach for adapting LLMs to a target distribution, but in settings such as personalization, where each author requires separate weight access, optimization, storage, and retraining, its costs become prohibitive. We propose Weightless Fine-Tuning (WFT), a training-free decoding-time method that approximates the distributional effect of SFT without weight updates. WFT computes supervised residuals on an author's training sequence and transports them to the current prompt through a cross-prefix transport operator estimated from dropout-induced cross-covariance. The operator captures how a perturbation at one context propagates to predictions at another, replacing gradient-based parameter updates with logit-space corrections. On three LaMP personalization benchmarks, WFT achieves the best average performance across datasets, matches or exceeds SF…