Prompt-Driven Exploration
Di cosa parla
Invece di far compiere piccoli cambiamenti casuali alle azioni, si prova a variare le istruzioni testuali che guidano un sistema che prende decisioni: un prompt è una breve indicazione che orienta il comportamento. Un altro modello osserva il video delle prove, capisce cosa non ha funzionato e riscrive il prompt per la prova successiva, ottenendo cambiamenti più ampi e permettendo di imparare anche quando le ricompense sono quasi assenti, con meno tentativi richiesti.
Cosa permette di osservare
Fa riflettere su quanto possa aiutare far “parlare” un osservatore automatizzato per correggere le istruzioni e guidare l'esplorazione, invece di affidarsi a piccoli scostamenti casuali, e su come questa idea si applichi sia a compiti fisici che di ragionamento.
Dalla fonte
Exploration is essential to RL since a policy cannot improve by repeatedly sampling the behaviors it already prefers. Standard methods inject stochasticity in the action space, but such jitter only yields rollouts close to the original. Escaping a weak policy often requires global perturbations that action noise cannot produce. Large language models (LLMs) and vision-language-action (VLA) models offer a pathway: they condition the policy on a natural language prompt, and since the rollout follows from it, modifying the prompt induces global changes. The challenge is finding prompts that induce useful global changes. With a weak policy that rarely succeeds, reward is too sparse to select on. Our idea is to refine prompts from the rollouts themselves: a vision-language model (VLM) reasons over the rollout video, diagnoses how the policy responded, and rewrites the prompt to elicit better…