DreamFly: Causal Memory and Receding-Horizon Diffusion Planning for Aerial Vision-Language Navigation
Di cosa parla
DreamFly è un sistema per far navigare droni usando immagini e istruzioni testuali: migliora la memoria del veicolo conservando solo osservazioni passate, pianifica un breve tratto di percorso futuro ma poi esegue solo il primo passo e riplana, e stima separatamente quando fermarsi basandosi sulle prime ipotesi del modello. L'idea affronta visibilità parziale, orizzonti di pianificazione troppo brevi e la difficoltà di riconoscere l'arrivo al traguardo.
Cosa permette di osservare
Questo lavoro permette di esplorare come combinare una memoria temporale senza “sbirciare” il futuro, la pianificazione a breve termine con feedback visivo continuo e una decisione di arresto separata per migliorare la navigazione aerea in scenari poco osservabili.
Dalla fonte
Aerial vision-language navigation (VLN) requires an embodied agent to integrate visual evidence over time, plan future actions, and determine when it has reached a navigation goal under partial observability. Although recent VLA models offer a promising perception-to-action paradigm, adapting them to aerial navigation remains challenging due to limited historical context, short planning horizons, and unreliable implicit termination. To address these challenges, we propose DreamFly, a diffusion-based aerial VLN framework built on Dream-VLA. DreamFly introduces a causally aligned historical memory that augments the current visual representation using only observations preceding the current decision step, enabling temporal reasoning without future information leakage. We further formulate navigation as receding-horizon diffusion planning, where the policy predicts a $K$-step action chunk b…