MMLA: How Memory Lets the Past Shape the Future
Di cosa parla
Propongono una memoria residente tra il contesto immediato e gli aggiornamenti lenti del modello: parti concluse del contesto diventano "eventi" e un assemblatore crea righe versionate che vengono confermate o scartate al momento dell'uso. Test controllati con alcune componenti mostrano miglioramenti su compiti di domanda‑risposta multi‑passo, ma l'integrazione complessiva non è completa e l'overwrite predittivo resta per ora bloccato.
Cosa permette di osservare
Permette di esplorare come decidere quali ricordi consolidare, come costruire e verificare quelle righe versionate e quali componenti devono funzionare insieme perché una memoria intermedia funzioni in pratica.
Dalla fonte
Proposal. Long context can replay history, but it does not decide which completed observations deserve authority. MMLA formalizes a bounded resident memory between transient context and slow weight updates. A completed local segment is eventized; for each event, a target-conditioned constructor proposes semantic content and a trusted assembler produces a complete versioned row; deployment either commits that row atomically or returns NULL. Realized futures may price actions during training, while deployment remains causal and future-blind. Validated components. Controlled studies establish narrower ingredients. Lifecycle execution is exact on 300/300 held-out records for each of three seeds. Calibrated selection with full-archive fallback improves over a weak budget-matched dense baseline by 5.5--16.6 F1 and over BM25 by 4.0--6.2 F1 on held-out multi-hop QA; the original Llama budget ex…