Is Per-Agent Policy Composition Safe? Rethinking Successor-Feature Transfer in Cooperative Multi-Agent Reinforcement Learning
Di cosa parla
Molti sistemi con più agenti devono adattare i comportamenti a nuovi obiettivi senza riaddestrare tutto. Lasciare che ogni agente ricombini da solo le strategie imparate può però peggiorare il comportamento collettivo, perché il cambio dei compagni altera le previsioni individuali. Propongono MA-USFA: un metodo a due livelli che prevede per ogni agente gli esiti futuri considerando i compagni e sceglie o aggiusta le strategie; viene addestrato una sola volta e poi usato senza adattamenti.
Cosa permette di osservare
Si può esplorare quando è rischioso lasciare ogni agente decidere da solo e quando invece è necessaria una scelta coordinata del team. La domanda è: come bilanciare sicurezza e flessibilità quando gli agenti hanno obiettivi diversi?
Dalla fonte
Many reinforcement learning systems, from fleet management to traffic signal control, must serve an objective that changes dynamically after deployment, and retraining a policy for each new objective is prohibitively expensive. For a single agent, this problem is well understood: successor features with generalized policy improvement, together with their universal extension, recombine a library of learned policies into a policy for any new objective, with a guarantee that the result is never worse than any policy in the library. However, multi-agent transfer has received far less attention, and the common practice of letting each agent recombine its own library independently inherits the recipe but not the guarantee. We prove that this independent composition can produce joint behavior strictly worse than every policy in the library, because recombining teammates changes the environment…