Marco Bonizzato

Membre académique associé

Professeur adjoint, Polytechnique Montréal, Département de génie électrique

Professeur adjoint, Université de Montréal, Département de neurosciences

Sujets de recherche

Neurosciences computationnelles

Optimisation en boîte noire

Systèmes dynamiques

Google Scholar

Biographie

Marco Bonizzato est ingénieur en contrôle, en électricité et en sciences de la vie, et cumule plus de 10 ans d'expérience dans le domaine des interfaces cerveau-ordinateur implantables et de la technologie de neuromodulation. Il possède une double expertise unique en prothèses neurales et en intelligence et optimisation des machines.

Il est professeur adjoint de génie électrique à Polytechnique Montréal et professeur auxiliaire de neurosciences à l'Université de Montréal.

Il dirige également le laboratoire sciNeurotech. L'objectif de la recherche qui y est menée est de développer l'arc translationnel complet de nouvelles thérapies de neurostimulation afin de restaurer la fonction sensorimotrice après un neurotraumatisme, depuis la découverte chez le rongeur jusqu'à l'application dans la technologie médicale humaine, adaptée et personnalisée à chaque utilisateur par l'intelligence artificielle.

Étudiants actuels

Davide Burchielli

Doctorat - Polytechnique

Google Scholar

Rose Guay Hottin

Maîtrise recherche - Polytechnique

Co-superviseur⋅e :

Guillaume Lajoie

Google Scholar

Juan Guerra

Maîtrise recherche - Polytechnique

Co-superviseur⋅e :

Doctorat - UdeM

Maîtrise recherche - Polytechnique

Mauricio Rivera

Maîtrise recherche - UdeM

mauriv2010@gmail.com

Salamanca-Giron Salamanca-Giron

Postdoctorat - Polytechnique

Site web

Github

Publications

Hallucination Detox: Sensitive Neuron Dropout (SeND) for Large Language Model Training

Shahrad Mohammadzadeh

Juan David Guerra

Marco Bonizzato

Reihaneh Rabbany

Golnoosh Farnadi

As large language models (LLMs) become increasingly deployed across various industries, concerns regarding their reliability, particularly d… (voir plus)ue to hallucinations-outputs that are factually inaccurate or irrelevant to user input-have grown. Our research investigates the relationship between the training process and the emergence of hallucinations to address a key gap in existing research that focuses primarily on post hoc detection and mitigation strategies. Using models from the Pythia suite (70M-12B parameters) and several hallucination detection metrics, we analyze hallucination trends throughout training and explore LLM internal dynamics. We introduce SEnsitive Neuron Dropout (SeND), a novel training protocol designed to mitigate hallucinations by reducing variance during training. SeND achieves this by deterministically dropping neurons with significant variability on a dataset, referred to as Sensitive Neurons. In addition, we develop an unsupervised hallucination detection metric, Efficient EigenScore (EES), which approximates the traditional EigenScore in 2x speed. This efficient metric is integrated into our protocol, allowing SeND to be both computationally scalable and effective at reducing hallucinations. Our empirical evaluation demonstrates that our approach improves LLM reliability at test time by up to 40% compared to normal training while also providing an efficient method to improve factual accuracy when adapting LLMs to domains such as Wikipedia and Medical datasets.

2024-10-12

NeurIPS.cc/2024/Workshop/SafeGenAi (poster)

doi.org

openreview.net

Gaussian-process-based Bayesian optimization for neurostimulation interventions in rats

Léo Choinière

Rose Guay-Hottin

Rémi Picard

Guillaume Lajoie

Marco Bonizzato

Numa Dancause

2024-02-14