DLR‑Lock: un metodo per “bloccare” i pesi pretrained degli LLM e ostacolare il fine‑tuning

Sintesi. Un team guidato da Keitaro Sakamoto e colleghi pubblica DLR‑Lock, una tecnica che mira a rendere più difficile l’adattamento non autorizzato di modelli di linguaggio. Il metodo sostituisce ogni MLP pretrained con una rete residua profonda a basso rango (DLR‑Net) di pari numero di parametri, addestrata via distillazione modulo‑per‑modulo. Secondo gli autori, DLR‑Lock aumenta il costo della retropropagazione e complica l’ottimizzazione del fine‑tuning, pur preservando le capacità del modello, e i test su LLM confermano queste affermazioni.

Cosa è successo

Nel paper pubblicato ad agosto 2026, gli autori (Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi) propongono DLR‑Lock: per ogni MLP pretrained del modello viene sostituito un blocco DLR‑Net, una rete residua profonda a basso rango con conteggio di parametri comparabile. Le DLR‑Net vengono addestrate efficientemente tramite distillazione modulo‑per‑modulo. La trasformazione sfrutta l’asimmetria tra inferenza e addestramento: durante la retropropagazione la memoria delle attivazioni cresce linearmente con la profondità, e il backward diventa significativamente più oneroso rispetto al forward. Gli autori riportano che la difesa resiste anche ad attaccanti adattivi con piena conoscenza della strategia, e che esperimenti su LLM validano le loro affermazioni.

Perché è rilevante

La proposta apre una nuova pista per i detentori di modelli che vogliano condividere pesi ma limitare adattamenti non autorizzati: invece di imporre vincoli esterni, DLR‑Lock mira a modificare la struttura interna in modo da aumentare il costo computazionale e complicare l’ottimizzazione del fine‑tuning. Questo approccio sfrutta una proprietà fondamentale dell’addestramento automatico (asimmetria inferenza‑training) e può influenzare il dibattito sui compromessi tra apertura dei modelli e controllo sui loro usi, senza affermare risultati non dimostrati oltre quanto riportato dagli autori.

Contesto

Il paper prende esplicitamente posizione rispetto alla tensione tra i benefici di condividere pesi pretrained (adozione, ricerca, adattamento) e i rischi di usi non autorizzati. La fonte non fornisce confronti dettagliati con altre difese esistenti, ma presenta DLR‑Lock come una difesa non triviale rispetto a semplici contromisure strutturali o di ottimizzazione.

Fonte: machinelearning.apple.com