Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
Di cosa parla
Si confrontano due approcci per abbinare testo e immagini: i nuovi modelli che trasformano testo, immagini e altri media in una stessa rappresentazione confrontabile (cioè li rendono comparabili fra loro), e i grandi modelli linguistici che valutano direttamente quale immagine corrisponde a una descrizione. In questo confronto, GPT-4.1 e Claude Sonnet 4.6 hanno mostrato prestazioni simili al modello multimodale di Google; tuttavia, quando le rappresentazioni multimodali sono calcolate in anticipo, quelle rappresentazioni risultano più adatte per applicazioni che richiedono risposte immediate.
Cosa permette di osservare
Permette di esplorare se conviene usare un modello specializzato che crea rappresentazioni comuni per testo e immagini oppure affidarsi a un grande modello linguistico per giudicare le corrispondenze, e di valutare il compromesso tra qualità del risultato e velocità della risposta.
Dalla fonte
Multimodal retrieval and classification across different types of media, spanning text, images,video and audio, has traditionally relied on dual-encoder models that align visual and textual representations through contrastive learning. The March 2026 release of Gemini Embedding 2, Google's first natively multimodal embedding model to map text, images, video, audio, and documents into a single shared space, raises competition among multimodal retrieval systems. Simultaneously, frontier Large language models (LLMs) have also demonstrated strong visual understanding, raising the question of whether they can serve as effective zero-shot rankers. Our study provides the first direct comparison of native multimodal embeddings against LLM-based visual ranking on Flickr30k. We observe that GPT-4.1 and Claude Sonnet 4.6 perform on par with Gemini Embedding 2. Additionally, once embeddings are pre…