Agent Safety Should Be a Runtime Contract
Di cosa parla
Per gli agenti che eseguono codice, modificano file, inviano messaggi o toccano banche dati, la sicurezza deve essere garantita durante l’esecuzione, non solo in fase di addestramento. Serve un contratto di esecuzione applicato dall’ambiente che li ospita: una parte preventiva blocca azioni pericolose con controlli e ambienti isolati; l’altra richiede prove verificabili che le azioni corrette siano avvenute, come registrazioni, esecuzioni di prova e cambiamenti nei file.
Cosa permette di osservare
Permette di esplorare se conviene spostare la responsabilità della sicurezza dagli addestratori agli strumenti che controllano gli agenti in funzionamento, e quali forme di evidenza servono per fidarsi delle loro azioni.
Dalla fonte
The dominant paradigm treats AI safety as a property to be instilled during model training via RLHF, DPO, or Constitutional AI. We argue this is structurally insufficient for autonomous agents that execute code, mutate files, send messages, and modify databases. Agent safety should be a runtime contract enforced by the harness, and the contract has two complementary faces. The preventive face blocks dangerous actions before they happen via sandboxes, permission gates, output filters, and trajectory monitors. The evidential face requires verifiable proof that good actions actually happened, gating task submission on hard evidence such as test runs, log captures, file diffs, and citation grounding. We ground the position in four lines of public evidence, with row-level protocols and data released in the supplementary JSON files: a survey of 52 documented AI-agent and LLM safety incidents,…