Portrait de Mahdi Ghaznavi

Mahdi Ghaznavi

Superviseur⋅e principal⋅e
Sujets de recherche
Apprentissage de représentations
Apprentissage profond
Généralisation
Généralisation hors distribution (OOD)
IAG (Intelligence Artificielle Générale)
Modèles de fondation
Optimisation

Publications

The Geometry of Spectral Gradient Descent: Layerwise Criteria for SignSGD vs SpecSGD
Optimization in deep learning has expanded beyond Euclidean methods to include entrywise sign updates (SignSGD) and spectral sign updates (S… (voir plus)pecGD/Muon). While both can be viewed as steepest descent under non-Euclidean geometries (