CAR: Query-Guided Confidence-Aware Reranking for Retrieval-Augmented Generation
Di cosa parla
Si propone un modo per riordinare le informazioni mostrate a un modello che genera risposte, valutando non solo quanto un passaggio sembri rilevante, ma quanto aiuta il modello a produrre risposte stabili e coerenti. Il metodo, senza bisogno di addestramento, confronta come cambiano le risposte generate quando si include o esclude ogni passaggio, usa questi cambiamenti per correggere l’ordine delle fonti e mantiene le preferenze originali salvo che il comportamento del modello suggerisca di invertirle; funziona anche con modelli accessibili solo tramite le loro risposte.
Cosa permette di osservare
Fa riflettere su quale criterio usare per scegliere le fonti da mostrare a un modello generatore: la rilevanza apparente o la capacità di rendere le risposte più stabili, e se sia pratico applicare correzioni del genere anche a modelli 'a scatola nera' accessibili solo via output.
Dalla fonte
Retrieval-augmented generation (RAG) relies on evidence ranking to determine what information is exposed to the generator, yet existing retrieval and reranking methods primarily estimate query--document relevance. Relevance, however, is not equivalent to generator-side usefulness: a relevant passage may introduce ambiguity or distraction, whereas a lower-ranked passage may stabilize the generator's answer. We present CAR (Confidence-Aware Reranking), a training-free rank-correction framework that uses query-only answer stability as a control and measures each candidate by the change it induces in sampled-answer semantic stability. This controlled contrast estimates a document's marginal contribution to generator behavior without treating semantic stability as relevance or calibrated correctness. CAR converts these confidence changes into coarse precedence constraints and returns the fea…