Studio Apple: rimuovere solo i “punti a basso impatto” può ridurre i costi dell’unlearning

Sintesi. Un paper di ricercatori (Udi Wieder, Vitaly Feldman, Robert Fisher, Anat Kleiman) pubblicato ad agosto 2026 esplora come identificare e saltare punti di addestramento che hanno impatto trascurabile sul modello quando si esegue l'unlearning. Analizzando funzioni d'influenza su compiti di linguaggio e visione, gli autori propongono un framework che riduce il dataset prima dell'unlearning e affermano risparmi computazionali significativi — fino a circa il 50% in esempi empirici reali.

Cosa è successo

Gli autori mettono in discussione l'approccio corrente che tratta tutte le istanze da dimenticare allo stesso modo. Utilizzando funzioni d'influenza per confrontare l'effetto dei singoli punti su modelli di linguaggio e visione, identificano sottoinsiemi di dati con impatto trascurabile sulle uscite del modello. Sulla base di questo risultato propongono un framework efficiente che riduce la dimensione del forget set prima di applicare procedure di unlearning, ottenendo, secondo gli autori, risparmi computazionali fino a circa il 50% in esempi real-world. Il lavoro è pubblicato nella sezione Data Science and Annotation / Privacy; una nota indica che parte del lavoro è stata svolta mentre gli autori erano in Apple e Harvard è citata per un autore.

Perché è rilevante

La proposta indica una possibile strada per abbassare i costi pratici dell'unlearning, una funzione sempre più richiesta per motivi di privacy: se alcune istanze hanno impatto trascurabile, esimersi dal rimuoverle può ridurre il lavoro computazionale. Questa osservazione non implica automaticamente che sia sempre sicuro o accettabile non rimuovere quei punti; il risultato apre però uno spazio di indagine su trade-off tra garanzie di privacy, costi operativi e criteri per identificare i punti a basso impatto.

Contesto

Il paper si colloca nel filone emergente di metodi di unlearning, che finora generalmente trattano tutte le istanze del forget set allo stesso modo. Il testo confronta i risultati su task di linguaggio e visione usando funzioni d'influenza; la fonte non fornisce un confronto dettagliato con altri metodi quantitativi oltre a questa distinzione concettuale.

Fonte: machinelearning.apple.com