LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes
Di cosa parla
Rispondere a domande su raccolte di dati disordinate richiede di trovare e combinare informazioni sparse in tabelle, testi e metadati. Per questo è stato creato un insieme di domande e risposte verificate da persone che copre tre ambiti (metadati AI, servizi bancari, informazioni farmaceutiche) e indica dove trovare le prove. I test mostrano però che trovare le fonti non basta: i sistemi faticano a collegare più file, applicare regole dai registri bancari e unire tabelle.
Cosa permette di osservare
Serve a esplorare quanto i sistemi siano capaci di scovare e unire informazioni sparse in raccolte eterogenee e quali passaggi falliscono: trovare la fonte giusta, collegare dati correlati e applicare regole provenienti da registri o tabelle.
Dalla fonte
While modern question answering (QA) systems excel on clean, schema-aligned corpora, real-world knowledge is rarely so neatly packaged. Answering questions over enterprise and scientific data lakes requires systems to navigate heterogeneous, weakly structured collections of tables, passages, and linked metadata. Current benchmarks abstract away this noisy discovery process, failing to evaluate end-to-end performance. To bridge this gap, we introduce LakeQuest, a human-validated benchmark of 9,846 QA pairs designed to evaluate the end-to-end retrieve-and-synthesize pipeline over realistic data lakes. LakeQuest spans three diverse domains (AI/ML metadata, retail banking, and multimodal biomedical drug information) and pairs every question with exact, modality-aware evidence pointers. By isolating source discovery from cross-modal synthesis, LakeQuest exposes critical failure modes in mode…