Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons
Di cosa parla
Un modello di neurone "spikato" a tre stati: questi neuroni comunicano con impulsi brevi, e gli autori provano tre livelli di segnale anziché due per migliorare una rete che impara a scegliere azioni per ottenere ricompense (deep Q-learning). Notano che versioni ternarie precedenti peggioravano le prestazioni per errori nella stima degli aggiornamenti; la loro variante riduce quell'errore e migliora i risultati nei test.
Cosa permette di osservare
Permette di esplorare se passare da neuroni con due stati a tre stati aiuta gli agenti che imparano tramite prove ed errori, e quanto gli errori nella stima degli aggiornamenti influenzano l'allenamento e le prestazioni.
Dalla fonte
We propose a new ternary spiking neuron model to improve the representation capacity of binary spiking neurons in deep Q-learning. Although a ternary neuron model has recently been introduced to overcome the limited representation capacity offered by binary spiking neurons, we show that its performance is worse than that of binary models in deep Q-learning tasks, contradicting previous findings from recent studies. Through mathematical and empirical analysis, we hypothesize that gradient estimation bias during training is the underlying cause. The proposed ternary spiking neuron model mitigates this issue by reducing the estimation bias. We use the proposed ternary spiking neuron as the fundamental computing unit in a deep spiking Q-learning network, which we call the deep asymmetric ternary spiking Q-network (DATSQN), and evaluate the network's performance in seven Atari games from the…