Reproducing and Stress-Testing Two Approaches to LLM Reasoning Reliability: Test-Time Probability Aggregation and Logic-Representation Editing
Di cosa parla
Due metodi recenti per rendere più affidabile il ragionamento dei grandi modelli di linguaggio sono stati riprodotti e messi sotto stress su nuovi compiti e modelli. Il primo metodo combina più risposte del modello per scegliere quella più probabile; il secondo individua e modifica una parte interna del modello che si pensa gestisca il "ragionamento". Gli autori hanno reimplementato ciò che non era pubblicato e li hanno testati su ambiti come tradurre domande in query, estrarre informazioni legali, riconoscere fallacie e valutare precedenti.
Cosa permette di osservare
Il lavoro permette di esplorare se le migliorie rivendicate per il ragionamento resistono a verifiche indipendenti e a compiti diversi, e se intervenire direttamente su parti interne del modello è una strada consistente per correggerne gli errori.
Dalla fonte
We independently reproduce two recent methods for making large language model (LLM) reasoning more reliable, and stress-test them across domains and models (RPC across four new task domains with Qwen3-8B, LCF across four 7-8B models). The first, RPC, aggregates token probabilities and self-consistency at inference; the second, LCF, trains projectors that split hidden states into "content" and "logic" and edits the logic part toward a valid region. Validating such reliability claims matters because the original evaluations are run by each method's own authors and were never independently reproduced or stress-tested across models and domains, and LCF shipped no public code. We re-run RPC's published-path aggregation and re-implement LCF's projector, contrastive, and intervention pipeline, then extend both to text-to-SQL, legal extraction, fallacy identification, and precedent grading, and…