Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems
Di cosa parla
Si misura il costo di gestione dei sistemi di memoria che i chatbot usano per evitare di reinviare tutta la conversazione, confrontandoli con due strategie di riferimento su due modelli e in conversazioni molto lunghe, e mettendo in relazione costo e qualità delle risposte. Si scopre che il costo non dipende solo da lunghezza o dimensione dei messaggi ma dal comportamento interno della memoria; la convenienza della memoria rispetto al reinvio totale varia molto con la combinazione sistema/modello, e nessuno vince su costo e accuratezza insieme.
Cosa permette di osservare
Consente di esplorare quando conviene dotare un assistente di memoria invece di rispedire l’intera conversazione, come la scelta del sistema di memoria e del modello di base influisce sui costi e sulla qualità delle risposte, e quali compromessi aspettarsi tra spesa e accuratezza.
Dalla fonte
Long-running conversational agents increasingly rely on a memory system to avoid resending the whole conversation each turn, yet how much that costs to serve has received little systematic benchmarking. We compare three memory systems (Mem0, Hindsight, and Mastra Observational Memory) against two reference strategies -- a fixed-size rolling window and resubmitting the full transcript -- across two backbones and conversations of up to 400 turns, pairing every cost measurement with answer accuracy on 665 LoCoMo questions. First, a memory system's serving cost cannot be predicted from conversation length and message size alone: a regression that tracks the two reference strategies closely misses the memory systems by 18-69%, their cost driven instead by internal memory behavior. Second, a break-even analysis shows that whether -- and when -- a memory system becomes cheaper to serve than th…