From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models
Di cosa parla
Si esplora se i modelli linguistici riescono a seguire più piste di senso contemporaneamente e a combinare indizi diversi per individuare una risposta. Per farlo è stato creato un test bilingue ispirato al gioco Just One: a ogni parola nascosta corrispondono più indizi indipendenti, generati automaticamente e verificati da persone, e si osserva come cambiano le risposte quando gli indizi vengono nascosti, riordinati, confusi o complicati. I risultati indicano che una maggiore capacità di ragionamento profondo non garantisce questa capacità di esplorare e integrare più direzioni insieme.
Cosa permette di osservare
Permette di chiedersi se saper fare ragionamenti lunghi equivalga anche a saper valutare contemporaneamente molte piste alternative e come i modelli si comportino di fronte a indizi incompleti, mescolati o fuorvianti.
Dalla fonte
Large language models (LLMs) have made substantial progress on reasoning tasks that require increasingly long and complex inferential chains. This progress primarily reflects reasoning depth. A complementary and comparatively unexamined capability is reasoning breadth: exploring multiple semantic directions in parallel and integrating the resulting clues into one coherent answer. We introduce MPAR-Bench, a bilingual English-Chinese benchmark that isolates reasoning breadth through multi-point associative reasoning. Inspired by the cooperative game Just One, each item asks a model to recover a hidden target from several independently generated, semantically diverse clues. We construct 1,000 items using a multi-agent clue-generation pipeline, embedding-based diversity filtering, and human verification. Only the answer space is drawn from public word lists, whereas every clue set is genera…