Evaluation and Hardening of LLM System Instructions Against Extraction via Encoding Attacks
Di cosa parla
Si verifica se le istruzioni di sistema nascoste nei grandi modelli di linguaggio — quelle che dicono al modello come comportarsi o contengono dati sensibili come credenziali o politiche interne — possono essere estratte non chiedendole direttamente ma rimodulando la richiesta come un compito di formattazione o di output strutturato. È stato creato un test automatico che simula questi attacchi su più modelli e mostra che, pur rifiutando richieste dirette, i modelli a volte rivelano informazioni; viene anche mostrato che una semplice riformulazione delle istruzioni, ottenuta con l’aiuto di un modello che esplicita il proprio ragionamento passo passo, può ridurre il problema senza riaddestrare il modello.
Cosa permette di osservare
Permette di esplorare se basarsi sul semplice rifiuto sia una difesa sufficiente contro estrazioni indirette e quali cambiamenti nella scrittura delle istruzioni possano offrire una protezione pratica senza modificare il modello.
Dalla fonte
System Instructions in Large Language Models (LLMs) are commonly used to enforce safety policies, define agent behavior, and protect sensitive operational context in agentic AI applications. These instructions may contain sensitive information such as API credentials, internal policies, and privileged workflow definitions, making system instruction leakage a critical security risk highlighted in the OWASP Top 10 for LLM Applications. Without incurring the overhead costs of reasoning models, many LLM applications rely on refusal-based instructions that block direct requests for system instructions, implicitly assuming that prohibited information can only be extracted through explicit queries. We introduce an automated evaluation framework that tests whether system instructions remain confidential when extraction requests are re-framed as encoding or structured output tasks. Across seven…