Task- and dataset-specific information in protein language models
Di cosa parla
Hanno studiato come cambiano, strato per strato, le rappresentazioni interne dei modelli per proteine e quale strato è più utile per vari compiti. Hanno scoperto che lo strato finale non è quasi mai il migliore: per compiti che riguardano singoli amminoacidi l'informazione cresce negli strati profondi, mentre per insiemi di dati sperimentali con molte mutazioni servono strati più superficiali; le prestazioni calano su proteine artificiali.
Cosa permette di osservare
Permette di esplorare dove, dentro il modello, si trova l'informazione utile per compiti diversi e come la natura dell'insieme di dati (es. dati sperimentali o proteine naturali) influenza quale strato sia più adatto.
Dalla fonte
Protein language models (PLMs) have transferred the latest advances from natural language processing to computational biology. These models, trained on large corpora of protein sequence data, are widely used to translate amino acid sequences into latent-space embeddings, ready for use in diverse downstream tasks (DTs). By a common consensus, embeddings from the model's last layer are used, and the model's internal behavior remains poorly understood. We analyzed 13 PLMs across 15 DTs from 11 datasets to investigate the informativeness of embeddings created in intermediate PLM layers. We trained probe models on embeddings from each layer, compared their performance, and computed characteristics of the latent spaces they span to estimate the information they contain, and found that the last layers of PLMs rarely contained embeddings that led to the best results on downstream tasks. Further…