Agentic Bayesian Optimization through Surrogate-Augmented Autoresearch
Di cosa parla
Un approccio in cui un modello linguistico — cioè un sistema che capisce e genera testo — agisce come agente centrale che controlla l'intero ciclo di ricerca, mentre un motore statistico valuta le scelte tenendo conto dell'incertezza. L'agente può riformulare il problema, cambiare strategia, proporre esperimenti mirati e sfruttare informazioni in linguaggio naturale (documentazione, codice) per trovare soluzioni più efficaci.
Cosa permette di osservare
Fa esplorare se e come affidare più controllo a modelli testuali possa integrare conoscenze informali nella ricerca guidata da modelli statistici, e come riorientare la ricerca quando cambiano i requisiti.
Dalla fonte
Bayesian optimization (BO) has become the standard tool for sample-efficient optimization and owes its efficiency to uncertainty-aware search driven by generic statistical priors. Richer domain priors can improve BO in principle, but encoding them through tailored kernels or problem structure is difficult and rarely done in practice. LLMs can help sidestep this difficulty by making informal priors from natural language, code, and documentation directly available to the optimizer. However, existing LLM-based BO methods either insert the LLM into a fixed role (surrogate, acquisition proxy, or configuration interface) or hand it broad control, sacrificing the systematic exploration that makes BO reliable. We introduce agentic Bayesian optimization: a paradigm in which an LLM agent is the central decision maker in the BO loop while a Bayesian backend provides the uncertainty-aware optimizat…