Unreproducible Research is Reproducible
La contradiction apparente dans le titre est un jeu de mots sur les différentes significations attribuées au mot reproductible dans différents domaines scientifiques. Ce que nous impliquons, c’est que les résultats non reproductibles peuvent être construits sur des méthodes reproductibles. Sans nier l’importance de faciliter la reproduction des méthodes, nous estimons qu’il est important de réaffirmer que la reproduction des résultats est une étape fondamentale de la recherche scientifique. Nous soutenons que la quête louable d’une reproductibilité déterministe simple des méthodes et des résultats numériques ne doit pas nous faire oublier la nécessité encore plus importante de garantir la reproductibilité des résultats et conclusions empiriques en tenant dûment compte des sources essentielles de variations. Nous fournissons des expériences pour illustrer la fragilité des pratiques courantes actuelles dans l’évaluation de modèles dans le domaine de l’apprentissage profond, montrant que même si les résultats pouvaient être reproduits, une expérience légèrement différente ne corroborerait pas les résultats. Nous espérons aider à clarifier la distinction entre la recherche exploratoire et empirique dans le domaine de l’apprentissage profond et pensons qu’il faut consacrer plus d’énergie à une recherche empirique appropriée dans notre communauté. Ce travail est une tentative pour promouvoir l’utilisation de méthodologies plus rigoureuses et diversifiées. Ce n’est pas une tentative d’imposer une nouvelle méthodologie ni une critique de la nature de la recherche exploratoire.
