Fine-Tuning Generative Models for Extreme Events via CVaR-Penalized Wasserstein Gradient Flows
Di cosa parla
L'idea concreta è prendere i campioni prodotti da un modello generativo già allenato e correggerli perché riproducano meglio eventi rari e code “pesanti”, cioè situazioni con deviazioni estreme più frequenti del previsto. Propongono un algoritmo che aggiunge una penalità che guarda alla media delle perdite nelle code (CVaR) insieme a una misura di distanza robusta, calcola gli aggiustamenti anche dove le formule tradizionali non funzionano, opera direttamente sui campioni senza accedere all'architettura del modello e decide quando fermarsi in modo adattivo; nei test su esempi sintetici e su dati finanziari migliora sia la qualità complessiva sia la capacità di catturare gli eventi estremi rispetto al modello di partenza.
Cosa permette di osservare
Consente di esplorare se e come si possano migliorare i comportamenti di code estreme nei modelli generativi già addestrati senza modificarne la struttura, e quali tipi di penalità e criteri di arresto adattivi aiutano a far emergere eventi rari.
Dalla fonte
We propose CVaR-penalized Generative Particle Algorithm (CVaR-GPA), a robust, tail-agnostic algorithm for fine-tuning generative models to learn heavy-tailed distributions and capture extreme events, requiring no prior knowledge or estimation of the target's tail characteristics. The method is the Wasserstein gradient flow of the Lipschitz-regularized Kullback-Leibler (KL) divergence penalized by a Conditional Value-at-Risk (CVaR) discrepancy term: the Lipschitz-regularized KL divergence enables robust learning under minimal assumptions on the target distribution, while the CVaR penalty restores the velocity that otherwise vanishes prematurely in the under-sampled tails. The penalized flow admits a bounded but non-Lipschitz velocity field. This departs from the Lipschitz transport maps of standard generators, which preserve the tail behavior of a light-tailed source, and enables transpo…