FLARE++: Low-rank attention with dynamic attention routing
Di cosa parla
FLARE++ è una variante di un metodo che riduce il costo di elaborare sequenze molto lunghe per costruire modelli che approssimano soluzioni di equazioni differenziali su domini irregolari. Invece di usare uno insieme fisso di schemi appresi per comprimere e riorganizzare l’input, FLARE++ genera quegli schemi a partire dall’encoder del modello, rendendoli adattati a ciascun ingresso; conserva la stessa strategia di compressione esplicita e può distribuire i dati su più dispositivi senza riunire tutta la sequenza su uno solo.
Cosa permette di osservare
Consente di esplorare se conviene usare schemi di compressione fissi o schemi che si adattano all’ingresso e come scalare tali approcci distribuendo il lavoro su più dispositivi senza concentrare tutti i dati in un unico punto.
Dalla fonte
Full self-attention is a strong token mixer for PDE surrogates on irregular domains, but its quadratic cost limits its use on high-resolution problems. Efficient latent-attention models such as the Fast Low-rank Attention Routing Engine (FLARE) avoid that cost by routing all N tokens through M << N learned latent queries, but those queries are parameters: once trained, the same learned query templates serve every input. We remove this restriction with FLARE++, a low-rank attention architecture with dynamic token routing. FLARE++ reuses FLARE's own encoder to build its routing queries: learned latent seeds drive one extra encode call that gathers the N input tokens into M input-conditioned queries, and those queries then determine how the same tokens are compressed and redistributed. This preserves FLARE's explicit low-rank factorization and linear O(NM) complexity, and expresses the com…