Keep the Future, Drop the Rollout: RIFT for World Action Models
Di cosa parla
Si verifica se i modelli che guidano robot con predizioni del futuro debbano generare passo passo una sequenza o possano usare una rappresentazione completa costruita una volta. Gli autori trovano che alcuni modelli sono sensibili all'evoluzione dei valori futuri, mentre altri possono riusare una rappresentazione finale; propongono RIFT, che costruisce quella rappresentazione in una sola passata usando segnali di anticipazione, mantenendo l'interfaccia originale e riducendo la latenza con prestazioni simili.
Cosa permette di osservare
Permette di esplorare se conviene far creare ai robot un'evoluzione dettagliata del futuro durante l'esecuzione oppure precomputare un riassunto compatto del futuro per accelerare le azioni, e come questa scelta influisca sulla progettazione dei modelli.
Dalla fonte
World action models (WAMs) condition robot actions on predicted futures, but iterative video rollout increases deployment latency. We ask whether action generation requires the evolving rollout trajectory or only its future representation. Across four WAMs on all 40 LIBERO tasks, paired closed-loop interventions show that masking or reassigning future-cache values changes execution and reduces success, indicating sensitivity to future values and their assigned positions. For Joint and Cosmos-2, however, replaying one fixed final-clean key/value (K/V) cache nearly preserves unmodified execution, with $1.7$ to $1.9$~cm end-effector average displacement error and $97.9\%$ to $98.2\%$ success. This separates cache consumption from production: these models can reuse a fixed cache but still require iterative rollout to construct it. We therefore propose RIFT (\emph{Rollout-free Imagination vi…