VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation
Di cosa parla
Si esplora l'uso di grandi modelli che combinano immagini e testo — detti modelli vision-language — per creare rappresentazioni degli oggetti utili a sistemi di raccomandazione sequenziale, integrando anche segnali basati sulle preferenze degli utenti (Collaborative Filtering). Si osserva che l'adattamento standard di questi modelli può far prevalere una modalità (immagine o testo) mentre l'altra peggiora, danneggiando la qualità delle raccomandazioni. VLM2Rec propone una procedura di addestramento per bilanciare l'uso di immagini e testo e una regolarizzazione per mantenere coerenza tra le loro rappresentazioni; i test riportano miglioramenti rispetto a forti alternative in vari scenari.
Cosa permette di osservare
Consente di esplorare se i modelli che comprendono immagini e testo possono sostituire encoders più semplici nelle raccomandazioni sequenziali e quali tecniche di addestramento servono per evitare che una modalità sovrasti l'altra quando si integrano segnali di preferenza degli utenti.
Dalla fonte
Sequential Recommendation (SR) in multimodal settings typically relies on small frozen pretrained encoders, which limits semantic capacity and prevents Collaborative Filtering (CF) signals from being fully integrated into item representations. Inspired by the recent success of Large Language Models (LLMs) as high-capacity embedders, we investigate the use of Vision-Language Models (VLMs) as CF-aware multimodal embedders for SR. However, we find that standard contrastive Supervised Fine-Tuning (SFT), used to adapt VLMs for embedding generation and inject CF signals, can amplify inherent modality imbalance: optimization becomes dominated by one modality while the other degrades, ultimately undermining recommendation accuracy. To address this, we propose VLM2Rec, a VLM embedder-based framework for multimodal sequential recommendation designed to promote balanced modality utilization. Speci…