LLM Router: Rethinking Routing with Prefill Activations
Di cosa parla
Si propone di scegliere quale modello linguistico usare non analizzando soltanto il testo, ma osservando le “attivazioni prefill”: i segnali interni che un modello calcola mentre legge l’input prima di generare la risposta. Separando il modello che produce questi segnali dal modello la cui correttezza si vuole stimare, si può usare un modello aperto per prevedere l’affidabilità di uno chiuso. Un predittore che usa insieme queste attivazioni seleziona i modelli meglio dei metodi basati solo sul contenuto e riduce i costi computazionali.
Cosa permette di osservare
Consente di esplorare se i segnali interni dei modelli sono più utili del solo significato del testo per decidere quale modello usare, e se modelli aperti possono servire come valutatori per modelli chiusi prima di inviare la richiesta.
Dalla fonte
Existing routers rely on semantic query features or handcrafted features, which often fail to capture model-specific failures or intrinsic task difficulty. We instead route using internal LLM activations, specifically the residual stream. Our key idea, Encoder-Target Decoupling, separates the model that produces the predictive signal (the Encoder) from the model whose correctness is being estimated (the Target), allowing open-weight encoders to predict the performance of closed-source target models. We evaluate layerwise geometric probes, finding that Fisher Separability ($J$) effectively identifies informative layers, supported by Effective Dimensionality ($d_{\mathrm{eff}}$) diagnostics. We then utilize a SharedTrunkNet, a joint multi-output MLP that predicts simultaneous correctness probabilities across candidate models using concatenated prefill features. In our experiments, SharedT…