AI Observatory
Una mappa quotidiana di ciò che viene pubblicato sull’intelligenza artificiale.
← Torna alle ultime pubblicazioni
contenuto · NVIDIA Developer

Kernel Fusion in NVIDIA CUDA: Optimizing Memory Traffic and Launch Overhead

Di cosa parla

Si parla di kernel fusion, cioè l’unione di più piccoli passaggi di calcolo in un unico passaggio, per far transitare meno dati tra memoria e calcolo e ridurre il tempo perso ad avviare molti passaggi separati. L’idea viene presentata come modo per rendere più efficienti i programmi che girano su hardware per calcoli paralleli, affrontando problemi di movimento dei dati e overhead di avvio.

Cosa permette di osservare

Consente di esplorare quando conviene combinare più operazioni in un unico passaggio e quali tipi di programmi traggono vantaggio dal ridurre lo spostamento dei dati e il numero di avvii ripetuti.

hardware

Dalla fonte

There are many ways to optimize code for GPUs. In this post, you’ll learn how kernel fusion can improve memory bandwidth and reduce kernel launch overhead,...