Hybrid Gated Attention
Di cosa parla
Si presenta un modo per controllare meglio come un modello sceglie cosa «guardare» quando elabora dati, cioè il meccanismo che decide quali parti dell’informazione pesare. La proposta, HyGA, mette insieme tre tipi di «porte» che filtrano e modulano il flusso informativo a più livelli, integra una scomposizione a basso rango e un componente apprendibile per gestire accumuli indesiderati, e punta a rendere l’addestramento più efficace, stabile e con prestazioni migliori.
Cosa permette di osservare
Permette di esplorare come diversi metodi di regolazione del flusso informativo influenzano qualità e stabilità dell’apprendimento e quali scelte offrono un equilibrio tra miglioramento delle prestazioni e costi di calcolo.
Dalla fonte
Gated attention is an effective approach to mitigate attention sinks and enhance the representational capacity of attention. To further extend its effectiveness-efficiency Pareto frontier, we propose a Hybrid Gated Attention (HyGA) framework that contains three types of gating strategies. Specifically, these gates leverage diverse information from multiple stages of attention, and collaboratively build element-wise/head-wise gating from multiple perspectives, capturing intra-head and cross-head information interactions. Through our hybrid gating components, HyGA could provide multi-source modulation signals, enabling more comprehensive control over information flow and improving the representational capacity of attention. We also introduce low-rank matrix decomposition and learnable attention sink to further enhance training efficiency and stability. In experiments, we evaluate HyGA on…