HYDRA: Hyperbolic Dynamic Representation Architecture for Kolmogorov-Arnold Networks
Di cosa parla
Si propone un modo per rendere più efficienti e più interpretabili le reti che, invece di usare singoli numeri per i collegamenti tra neuroni, imparano vere e proprie funzioni per quei collegamenti. Per ridurre la ridondanza, il metodo mappa gli input in uno spazio iperbolico — un tipo di spazio curvo che ordina i punti in base a un raggio — e condivide trasformazioni tra dimensioni; test su più dati riportano prestazioni competitive o superiori, con minori parametri e rappresentazioni più interpretabili.
Cosa permette di osservare
Consente di esplorare se usare geometrie curve e condividere funzioni tra collegamenti è una via pratica per ridurre il numero di parametri necessari, migliorare la chiarezza delle rappresentazioni e rendere l’allenamento più stabile.
Dalla fonte
Kolmogorov-Arnold Networks (KANs) enhance nonlinear function approximation by replacing scalar weights with learnable univariate functions. However, assigning an independent function to every connection results in substantial parameter redundancy, limiting their scalability and efficiency. To reduce this redundancy, we introduce \textbf{HY}perbolic \textbf{D}ynamic \textbf{R}epresentation \textbf{A}rchitecture (HYDRA), a parameter-efficient hyperbolic extension of KAN that combines spline-based functional learning with representations in the Poincar\'e ball. HYDRA maps vector-valued inputs into a bounded hyperbolic latent space, performs KAN-style updates in tangent space, and employs a low-rank prototype block to share functional transformations across hidden dimensions. The resulting hyperbolic representations provide a structured radial coordinate for interpretation, while radius con…