Generalization of Equilibrium Propagation to Vector Field Dynamics

Les neuroscientifiques ont longtemps mis en doute la plausibilité biologique de l’algorithme de rétropropagation. Cela est dû à deux raisons principales, les neurones devraient envoyer deux types de signaux différents dans les phases avant et arrière et les paires de neurones devraient communiquer via des connexions bidirectionnelles symétriques. Nous présentons une procédure d’apprentissage simple en deux phases pour les réseaux récurrents à point fixe, qui aborde les deux problèmes précédents. Dans notre modèle, les neurones effectuent une intégration avec fuite et les poids synaptiques sont mis à jour via un mécanisme local. Notre méthode d’apprentissage généralise la propagation d’équilibre à la dynamique des champs de vecteurs, en relâchant la nécessité d’une fonction énergétique. Conséquence de cette généralisation, l’algorithme ne calcule pas le vrai gradient de la fonction objectif, mais l’approche plutôt avec une précision qui s’avère être directement liée au degré de symétrie des poids de réaction et de rétroaction. Nous montrons expérimentalement que notre algorithme optimise la fonction objectif.