Mila > Publication > Bridging the Gap Between Deep Learning and Neuroscience > STDP-Compatible Approximation of Backpropagation in an Energy-Based Model

STDP-Compatible Approximation of Backpropagation in an Energy-Based Model

Bridging the Gap Between Deep Learning and Neuroscience
Oct 2017

STDP-Compatible Approximation of Backpropagation in an Energy-Based Model

Oct 2017

Nous montrons que l’inférence de chaîne de Markange de Langevin Monte Carlo dans un modèle basé sur l’énergie avec des variables latentes a la propriété que les premières étapes d’inférence, à partir d’un point stationnaire, correspondent à la propagation de gradients d’erreur dans les couches internes, similaire à la rétropropagation. L’erreur rétro-propagée concerne les unités de sortie ayant reçu une force motrice extérieure les repoussant du point fixe. Les gradients d’erreur rétropénérés correspondent aux dérivées temporelles en ce qui concerne l’activation d’unités cachées. Celles-ci conduisent à une mise à jour pondérale proportionnelle au produit du taux de déclenchement présynaptique et du taux de variation temporel du taux de déclenchement post-synaptique. Les simulations et un argument théorique suggèrent que cette règle de mise à jour basée sur le taux est cohérente avec celles associées à la plasticité dépendant du pic de synchronisation. Les idées présentées dans cet article pourraient constituer un élément d’une théorie permettant d’expliquer comment les cerveaux effectuent l’affectation de crédits dans des hiérarchies profondes aussi efficacement que la rétropropagation, avec le calcul neuronal correspondant à la fois à une inférence approximative dans des variables latentes à une erreur rétropagation en même temps.

Reference

Linked Profiles