From Synthesis to Removal: Physics-Grounded Reflection Simulation and Diffusion-Based Video Dereflection
Di cosa parla
Si occupa dei riflessi nei video ripresi attraverso il vetro, che peggiorano la qualità visiva e ostacolano altri compiti automatici. Per affrontare questo problema, il lavoro crea video sintetici accoppiati con e senza riflessi ricreando effetti ottici del vetro (come sfocature e immagini fantasma), addestra un modello che genera la versione pulita del video a partire da quella riflessa e propone un nuovo insieme di valutazione che include anche giudizi umani.
Cosa permette di osservare
Permette di esplorare se dati sintetici che imitano il vetro aiutano davvero i modelli a rimuovere i riflessi nelle sequenze reali in modo coerente nel tempo, e se l'approccio generativo adottato migliora la qualità percepita nei test con persone.
Dalla fonte
Videos captured through glass often contain reflections that degrade visual quality and interfere with downstream vision tasks. Although single-image reflection removal has been extensively studied, video reflection removal remains largely underexplored due to the lack of paired video data, temporally coherent removal models, and dedicated evaluation benchmarks. We present a closed-loop framework that unifies physics-grounded reflection simulation, diffusion-based video dereflection, and benchmark evaluation. Our S2R-Synthesis pipeline generates paired reflected and reflection-free videos by performing physics-grounded augmentation in the structure space and rendering realistic reflected videos with a trained video diffusion renderer; the augmentation models key glass-related effects including roughness-induced blur, thickness-induced ghosting, and reflectance variation. Based on the sy…