Unmasking Toxic Mimicry in Medical Offline Reinforcement Learning for ICU Sepsis Management via Counterfactual Clinical Audits
Di cosa parla
Si mostra che sistemi di intelligenza artificiale addestrati su dati clinici possono imitare decisioni dannose nella gestione della sepsi in terapia intensiva. Gli autori propongono un audit che altera condizioni fisiologiche seguendo le linee guida per scoprire questi casi. In un test, un modello diminuiva il dosaggio di vasopressori quando il quadro peggiorava, mentre un altro manteneva risposte coerenti.
Cosa permette di osservare
Solleva la domanda se le pratiche di valutazione attuali individuino decisioni imitate ma dannose e se l'uso di audit controfattuali, cioè che simulano variazioni fisiologiche, debba entrare nelle procedure di verifica della sicurezza dei sistemi clinici.
Dalla fonte
Offline reinforcement learning (RL) offers considerable promise for optimizing ICU treatment decisions, yet standard evaluation metrics Mean Squared Error (MSE) and Fitted Q-Evaluation (FQE) assess only behavioral imitation and cannot detect Toxic Mimicry, a failure mode in which agents replicate harmful patterns such as treatment withdrawal during comfort-care transitions. Using the MIMIC-III database, we propose the Counterfactual Clinical Audit (CCA) framework, which stress-tests RL agents through physiological perturbations anchored in Surviving Sepsis Campaign (SSC) guidelines. We audit a Medical Decision Transformer (MedDT) and a Historical Causal Transformer (HCT-RL), the latter employing Causal Action Shielding, propensity-based importance weighting, and Conservative Q-Learning. CCA reveals that MedDT paradoxically reduces vasopressor dosage as lactate escalates, contradicting r…