Generative Semantic Segmentation via an Observable Semantic-Image Interface and Hierarchical Generator Evidence Alignment
Di cosa parla
Semantic Prism è un sistema che prima genera un’immagine colorata in cui ogni colore rappresenta una classe (per esempio strada, auto, cielo) e poi converte quei colori in probabilità per ogni pixel. Per ridurre lo sbiadimento dei colori e il mescolamento ai bordi, il metodo confronta i colori prodotti con una tavolozza fissa e poi affina le probabilità riallineando informazioni raccolte a più livelli del generatore, mantenendo l’immagine come riferimento. Introduce anche una misura di “disaccordo” tra l’interfaccia immagine e le evidenze interne per ordinare i pixel ancora incerti senza addestrare un predittore aggiuntivo.
Cosa permette di osservare
Permette di esplorare se ancorare le stime di classe all’immagine generata rende più affidabili le predizioni, come usare segnali interni per segnalare errori senza calcoli extra, e quale effetto ha l’allineamento di evidenza a più livelli sulla qualità finale delle mappe di segmentazione.
Dalla fonte
Generative semantic segmentation exposes structured predictions as images, but direct color decoding is susceptible to color drift and boundary mixing, whereas latent-feature decoders that predict a separate output distribution may relegate the rendered image to an intermediate visualization. We present Semantic Prism, a conditional semantic-image generation-and-refinement framework with deterministic inference. A diffusion-distilled one-step generator renders a semantic RGB image; per-pixel distances from the rendered colors to a fixed class-color codebook define an explicit probabilistic interface. Hierarchical Generator Evidence Alignment spatially aligns multi-level generator features and uses a zero-initialized output projection to predict an additive residual in the interface logit space, retaining the image-defined interface as the reference for the final distribution. The interf…