Making Your LLMs More Objective: Stabilizing LLM Safety Behavior Across Traits with Trait-Invariant Safety Tuning
Di cosa parla
Si mostra che lo stesso modello di linguaggio può rifiutare una richiesta in un caso e accettarla in un altro solo perché nel messaggio di sistema gli è stata assegnata una "personalità" o un ruolo. Gli autori quantificano questa incoerenza, individuano che dipende da una piccola parte delle informazioni interne del modello e propongono un allenamento che riallinea il comportamento con e senza personalità per stabilizzare le decisioni di sicurezza.
Cosa permette di osservare
Permette di esplorare fino a che punto le "personalità" nei messaggi possono cambiare le risposte di sicurezza di un modello, e se si può separare il controllo della sicurezza dalla personalità per ottenere comportamenti più coerenti.
Dalla fonte
Aligned large language models (LLMs) are expected to exhibit safety behavior based on the content of the user request: they should refuse unsafe requests and comply with safe ones. However, we show that the same request can elicit substantially different safety decisions under different traits assigned in the system prompt, a failure mode we call trait-induced safety variation. To measure this failure, we introduce refusal-based metrics: Trait-Induced Deviation measures dataset-level deviation from the no-trait baseline, while Trait-Induced Flip Rate measures whether the same request receives different safety decisions across traits. We then provide a representation-level analysis of the mechanism behind trait-induced safety shifts and find that traits perturb the model's safety representations within a low-dimensional subspace. To achieve trait-invariant safety, where safety behavior r…