Towards the Harness of Embodied Agents
Di cosa parla
L'idea è che il successo di un agente robotico dipenda dall'infrastruttura attorno ad esso, non solo dal modello. Thea è un "harness" che coordina le capacità del robot come strumenti e aggiunge due elementi chiave: una "Scene Graph as Context", ossia una mappa simbolica e persistente dello stato del mondo; e "Evaluation as Exit Codes", un modo per interrompere azioni, verificarne il risultato e diagnosticare i fallimenti. Insieme chiudono il ciclo agente-mondo e permettono di completare compiti lunghi in ambienti reali.
Cosa permette di osservare
Consente di esplorare come progettare l'infrastruttura che circonda robot reali per colmare la mancanza di percezione continua e di giudizio del risultato, e quali meccanismi servono per far arrivare a termine attività che richiedono molte azioni nel mondo fisico.
Dalla fonte
The success of coding agents has established the harness as a paradigm: what an agent achieves depends not on the model alone, but on the infrastructure around it. We ask whether the same paradigm extends to embodied agents in the physical world. We present Thea, a harness in which an agentic loop orchestrates robot capabilities, each wrapped as a callable tool. It inherits the core components of coding agents, modified as the physical world requires. The world, however, withholds two abilities that software grants for free: reading the state of the world, and judging the outcome of an action. To bridge these gaps, Thea introduces Scene Graph as Context, a persistent, symbolic representation of the world, and Evaluation as Exit Codes, which detects when an action should terminate, judges whether it succeeded, and on failure diagnoses the cause. Together they close the loop between the a…