ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents
Di cosa parla
ToolHazard costruisce ambienti artificiali che tentano di ingannare agenti basati su modelli linguistici quando questi usano strumenti esterni. Il sistema genera automaticamente scenari ostili, individua dove nascondere comandi ingannevoli e produce attacchi per testare agenti su compiti prolungati. I test mostrano vulnerabilità diffuse, con l'efficacia dell'attacco influenzata da quando e dove viene inserito; dati di allineamento (cioè esempi usati per rendere il comportamento più sicuro) prodotti migliorano la sicurezza senza intaccare i compiti normali.
Cosa permette di osservare
Permette di esplorare quanto sono robuste le difese degli agenti contro comandi nascosti negli ambienti, come la tempistica e la collocazione degli attacchi cambiano il rischio, e se l'uso di attacchi sintetici per l'addestramento rende gli agenti più sicuri mantenendo le loro funzioni.
Dalla fonte
Large language model (LLM) agents integrated with external tools are vulnerable to indirect prompt injections embedded in environmental states. However, existing studies largely rely on manually implemented or reused environments, stochastic LLM-based tool simulation, and predefined injection locations, limiting scalable security research across broader domains. To bridge this gap, we propose **ToolHazard**, a scalable adversarial environment synthesis framework that reduces human engineering and supports expansion with additional seed domains and compute. Through an Environment Simulator, an Attacker Agent, and a User Simulator, ToolHazard synthesizes executable stateful environments, discovers viable injection points and generates environment-specific payloads, and constructs state-grounded long-horizon tasks. Based on ToolHazard, we build **ToolHazard-Bench** for stress-testing agent…