ENTLORE: A Graph-Grounded Benchmark for Latent Organizational Reasoning in Enterprise Question Answering
Di cosa parla
Si costruisce un mondo aziendale ricostruito da documenti quotidiani, tabelle ufficiali e registri operativi per testare quanto i sistemi sappiano ricavare relazioni organizzative che non sono esplicitamente scritte. Il punto centrale è il “ragionamento organizzativo latente”, cioè l’abilità di inferire rapporti interni assenti nel testo. Nella versione pubblica vengono condivisi i documenti ma non la struttura privata né le relazioni target.
Cosa permette di osservare
Permette di esplorare se e come i modelli riescono a ricostruire rapporti interni solo dai documenti, e quale differenza fa mettere a disposizione tabelle o una struttura organizzata rispetto a lasciare tutto implicito. Aiuta anche a identificare quali domande restano difficili anche avendo tutti i documenti.
Dalla fonte
Enterprise question answering is framed as retrieving internal documents and generating grounded answers. Routine enterprise records, however, are work by-products in which required organizational relations remain implicit across heterogeneous sources. Existing benchmarks provide realistic multi-source evidence, but often materialize a predefined answer path and therefore test the composition of stated facts rather than recovery of a target relation absent from the corpus. We call the latter capability latent organizational reasoning. We introduce ENTLORE, a graph-grounded benchmark construction framework that reconstructs an audited enterprise world from routine documents, authoritative organizational tables, and operational records. Versioned organizational conventions certify derived relations in a truth graph, enabling complete golden answers and proof certificates. The aligned anon…