Reducing Symmetry Increase in Equivariant Neural Networks
Di cosa parla
Reti neurali costruite per rispettare simmetrie geometriche, come rotazioni, sono impiegate in molti ambiti scientifici. Quando l'input è già molto simmetrico, queste reti possono produrre uscite con ancora più simmetria, perdendo capacità di rappresentare dettagli: gli autori analizzano questo fenomeno e ne forniscono una caratterizzazione teorica. Dimostrano che esiste un limite minimo determinato dallo spazio delle caratteristiche, propongono un algoritmo per calcolarlo e linee guida pratiche per progettare le caratteristiche in modo da ridurlo; infine validano le idee con esperimenti su dati sintetici e reali.
Cosa permette di osservare
Consente di esplorare quali scelte nel progetto delle caratteristiche interne delle reti aiutino a preservare dettagli quando gli input sono simmetrici e come calcolare il limite minimo di simmetria che una rete può introdurre.
Dalla fonte
Equivariant Neural Networks (ENNs) have empowered numerous applications in scientific fields. Despite their remarkable capacity for representing geometric structures, ENNs suffer from degraded expressivity when processing symmetric inputs: the output representations are invariant to transformations that extend beyond the input's symmetries. The mathematical essence of this phenomenon is that a symmetric input, after being processed by an equivariant map, experiences an increase in symmetry. While prior research has documented symmetry increase in specific cases, a rigorous understanding of its underlying causes and general reduction strategies remains lacking. In this paper, we provide a detailed and in-depth characterization of symmetry increase together with a principled framework for its reduction: (i) For any given feature space and input symmetry group, we prove that the increased…