Better Slots, Better Worlds: Representation Quality & Robustness in Object-Centric World Models
Di cosa parla
Si cerca di capire se imparare modelli del mondo da registrazioni passate aiuta agenti a pianificare meglio quando la scena viene rappresentata scomponendola in 'slot' legati agli oggetti: l'obiettivo è valutare se questo modo di rappresentare gli oggetti migliora la pianificazione e cosa, nel modello, lo determina. In uno studio controllato si confrontano la qualità di questi slot e la capacità di adattarsi a scenari diversi: emerge che migliore è la qualità degli slot, migliore è la pianificazione fino a un certo punto; con slot ben definiti non servono più segnali aggiuntivi sull'agente né accorgimenti di mascheramento; inoltre l'uso di caratteristiche apprese in anticipo aiuta la robustezza in situazioni non viste prima.
Cosa permette di osservare
Permette di esplorare se rappresentare esplicitamente gli oggetti rende i modelli del mondo più efficaci e resilienti ai cambiamenti dello scenario, e quanto contano le caratteristiche già apprese rispetto all'apprendimento tutto da zero.
Dalla fonte
Learning world models from offline trajectories enables agents to accomplish different tasks through planning. Object-centric (OC) representations, which decompose a scene into a set of slots that bind to its objects, have been proposed as an inductive bias for world models that are more sample-efficient and generalize better. Yet prior object-centric world models (OCWMs) take the slot encoder as given and evaluate only in-distribution, leaving open whether the object-centric bias actually delivers for planning and what within the OCWM drives it. We conduct a controlled study of OCWMs for visual model-predictive control along two axes: object-centric representation quality and generalization under distribution shift relative to scene-centric models. We find that (i) planning success correlates positively with unsupervised slot-quality metrics (FG-ARI, mBO), though the gains saturate at…