Equivalence of Equilibrium Propagation and Recurrent Backpropagation

La rétropropagation et la propagation-équilibre récurrentes sont des algorithmes d’apprentissage supervisés pour les réseaux de neurones récurrents à point fixe qui diffèrent dans leur seconde phase. Dans la première phase, les deux algorithmes convergent vers un point fixe qui correspond à la configuration où la prédiction est faite. Dans la deuxième phase, la propagation d’équilibre se relâche en un autre point fixe situé à proximité, ce qui correspond à une erreur de prédiction plus petite, alors que la rétrodiffusion récurrente utilise un réseau latéral pour calculer les dérivées d’erreur de manière itérative. Dans ce travail, nous établissons une connexion étroite entre ces deux algorithmes. Nous montrons que, à chaque instant de la seconde phase, les dérivées temporelles des activités neuronales dans la propagation de l’équilibre sont égales aux dérivées d’erreur calculées de manière itérative par récurrence de rétropropagation dans le réseau latéral. Ce travail montre qu’il n’est pas nécessaire de disposer d’un réseau latéral pour le calcul des dérivées d’erreur et conforte l’hypothèse selon laquelle, dans les réseaux neuronaux biologiques, les dérivées temporelles des activités neuronales peuvent coder pour des signaux d’erreur.