A Variational Analysis of Kernel Learning with Learnable Linear Transformations
Di cosa parla
Lo studio amplia un metodo statistico classico per prevedere Y a partire dai dati X introducendo una matrice U che viene appresa per rilevare le scale e le variabili rilevanti nei dati. Imparare U porta a un problema di ottimizzazione non lineare: gli autori ne analizzano le equazioni che lo descrivono, la continuità, il comportamento nei casi limite e la struttura dei minimi locali.
Cosa permette di osservare
Permette di esplorare se imparare una trasformazione lineare aiuta il metodo ad adattarsi a dati con scale diverse o a individuare variabili essenziali su uno spazio a dimensione ridotta, e come le soluzioni si comportano in scenari degeneri o limite.
Dalla fonte
The classical kernel ridge regression problem aims to find the best fit for the output $Y$ as a function of the input data $X\in \mathbb{R}^d$, with a fixed choice of regularization term imposed by a given choice of a reproducing kernel Hilbert space, such as a Sobolev space. Here we consider a generalization of the kernel ridge regression problem, by introducing an extra matrix parameter $U$, which aims to detect the scale parameters and the feature variables in the data, and thereby improve the efficiency of kernel ridge regression. This naturally leads to a nonlinear variational problem to optimize the choice of $U$. We study various foundational mathematical aspects of this variational problem, including its Euler-Lagrange equation, continuity and first variation, limiting behavior under degenerate or diverging transformations, and the structure of its local minimizers. Particular a…