AI Observatory
Una mappa quotidiana di ciò che viene pubblicato sull’intelligenza artificiale.
← Torna alle ultime pubblicazioni
paper · arXiv · Machine Learning

BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents

Di cosa parla

Gli agenti di intelligenza artificiale che vengono eseguiti all'interno del browser possono essere ingannati da contenuti web che manipolano le istruzioni che seguono: questo tipo di attacco si chiama "prompt injection" (cioè convincere l'agente a obbedire a comandi nascosti nella pagina). Gli autori hanno raccolto esempi realistici di pagine maliziose che mirano non solo a ottenere testo ma a far compiere azioni reali, hanno valutato varie contromisure su modelli avanzati e propongono una strategia di difesa a più livelli, che agisce sia sull'architettura sia sul comportamento del modello.

Cosa permette di osservare

Consente di esplorare quali contenuti web possono realmente manipolare gli agenti, quali tipi di difese si sono dimostrati efficaci contro questi attacchi e come combinare più protezioni per progettare agenti da browser più sicuri.

agentihardwareregolamentazionericercasicurezza

Dalla fonte

The integration of artificial intelligence (AI) agents into web browsers introduces security challenges that go beyond traditional web application threat models. Prior work has identified prompt injection as a new attack vector for web agents, yet the resulting impact within real-world environments remains insufficiently understood. In this work, we examine the landscape of prompt injection attacks and synthesize a benchmark of attacks embedded in realistic HTML payloads. Our benchmark goes beyond prior work by emphasizing injections that can influence real-world actions rather than mere text outputs, and by presenting attack payloads with complexity and distractor frequency similar to what real-world agents encounter. We leverage this benchmark to conduct a comprehensive empirical evaluation of existing defenses, assessing their effectiveness across a suite of frontier AI models. We pr…