Epistemic Transfer in AI-Assisted Verification: A Framework and Evaluation Protocol
Di cosa parla
Si indaga se gli strumenti di intelligenza artificiale che aiutano a verificare affermazioni online lasciano agli utenti abilità di giudizio che durano nel tempo. L'autore chiama questo effetto «trasferimento epistemico», ossia quanto l'uso passato dello strumento influisce sulla capacità di valutare nuove affermazioni senza aiuto. Propone due misure semplici per valutare il calo immediato quando lo strumento viene tolto e la performance ritardata, e un protocollo sperimentale applicabile online o sul campo.
Cosa permette di osservare
Permette di esplorare come costruire confronti e test che rivelino se un aiuto digitale insegna davvero qualcosa all'utente o se migliora solo quando è presente, e quali analisi servono per distinguere questi casi.
Dalla fonte
AI tools that help people judge online claims are usually evaluated while the tool is present. This paper asks a different question: after using such a tool, what can the user still do on their own? I call this epistemic transfer. It refers to the effect of prior AI-assisted verification on later unassisted performance on new claims. In this paper, I make three contributions. First, I distinguish epistemic transfer from nearby outcomes such as correction effects, trust, reliance, and human--AI team performance. Second, I introduce two simple quantities for studying it: the Epistemic Transfer Effect (ETE), which compares delayed unassisted performance across conditions, and Tool-Removal Cost (TRC), which measures the immediate drop in performance when the tool is taken away. Third, I turn these ideas into a practical evaluation protocol that can be used in online experiments or field stu…