COLORA: Efficient Fine-Tuning for Convolutional Models with a Study Case on Optical Coherence Tomography Image Classification
Di cosa parla
CoLoRA è un modo per adattare modelli per immagini già addestrati aggiornando molti meno parametri: semplifica gli aggiornamenti dei filtri in parti più leggere che poi si possono ricombinare con i filtri originali, così la dimensione e il funzionamento del modello in uso restano gli stessi. I test su dataset di immagini mediche (compresa la tomografia a coerenza ottica) e su altri set mostrano prestazioni competitive rispetto ad altre strategie, mentre le misure di memoria durante l’addestramento evidenziano che il risparmio di parametri non sempre si traduce in un pari risparmio di memoria, dipendendo da quali parti della rete si adattano.
Cosa permette di osservare
Questo lavoro permette di esplorare il compromesso tra aggiornare l’intero modello o solo alcune sue parti, come queste scelte funzionano su immagini mediche rispetto ad altri tipi di immagini e quale impatto hanno sui bisogni di memoria durante l’addestramento.
Dalla fonte
We introduce \textbf{CoLoRA} (Convolutional Low-Rank Adaptation), a parameter-efficient fine-tuning method for convolutional neural networks (CNNs). CoLoRA extends LoRA to convolutional layers by decomposing kernel updates into lightweight depthwise and pointwise components. This design reduces the number of trainable convolutional-update parameters by over 80\% compared with full convolutional fine-tuning, while allowing the learned updates to be merged into the pretrained convolutional kernels, thereby preserving the original model size and inference complexity. Experiments on MedMNIST datasets, particularly OCTMNISTv2, demonstrate that CoLoRA applied to VGG16 and ResNet50 achieves competitive classification performance while substantially reducing the number of trainable parameters. Comparisons with transfer learning, adapters, BitFit, and convolutional LoRA variants further characte…