Curriculum Learning

Les êtres humains et les animaux apprennent beaucoup mieux lorsque les exemples ne sont pas présentés au hasard, mais organisés dans un ordre significatif qui illustre de plus en plus de concepts et de plus en plus complexes. Ici, nous formalisons ces stratégies de formation dans le contexte de l’apprentissage automatique et nous les appelons «apprentissage par programme». Dans le contexte de recherches récentes portant sur la difficulté de la formation en présence de critères de formation non convexes (pour les réseaux neutres déterministes et stochastiques profonds), nous explorons l’apprentissage du curriculum dans diverses configurations. Les expériences montrent que des améliorations significatives peuvent être obtenues en matière de généralisation. Nous émettons l’hypothèse que l’apprentissage par le curriculum a un effet sur la vitesse de convergence du processus de formation au minimum et, dans le cas de critères non convexes, sur la qualité des minima locaux obtenus: l’apprentissage du curriculum peut être considéré comme une forme particulière de méthode de continuation (stratégie générale d’optimisation globale de fonctions non convexes).