Configure rate limits for AI traffic on AgentCore gateway
Di cosa parla
Come impostare limiti di traffico sul gateway AgentCore di Amazon Bedrock per controllare quanto ogni utente o ogni destinazione può accedere ai modelli, agli strumenti e agli agenti a valle. Si spiegano opzioni per limitare il numero di richieste, la quantità di testo che può essere elaborata e le connessioni contemporanee, applicabili in base all’identità dell’utente o alle informazioni nel token di accesso, per prevenire picchi di traffico.
Cosa permette di osservare
Permette di valutare quali regole applicare: limitare per utente o per destinazione, che tipo di limite usare (richieste, volume di testo, connessioni) e come queste scelte influenzano la resilienza dei servizi ai picchi di traffico.
Dalla fonte
Learn how to configure rate limits on Amazon Bedrock AgentCore gateway to enforce per-user and per-target traffic controls. Define request, token, and connection limits scoped by JWT claims or IAM identity to protect downstream models, tools, and agents from traffic spikes.