Prè-requis
Notions de base en Analyse, statistique et apprentissage machine, en programmation en python
Objectif du cours
L’objectif principal de ce cours est de présenter des résultats représentatifs de la recherche actuelle sur les justifications mathématiques des algorithmes d’apprentissage profond; puis de faire le lien avec la mise en pratique de ces algorithmes.
Page du cours :https://www.math.univ-toulouse.fr/~fmalgouy/
Presentation : here
Mode de validation
– 1 examen final (90% de la note)
– 1 travail à la maison avec implémentation d’algorithme (10% de la note)
– Pour le rattrapage du cours, nous prévoyons de faire un examen de rattrapage dont la note remplacera les notes précédentes.
Thèmes abordés
Nous commencerons par formaliser différents modèles de réseaux et par décrire des algorithmes de back-propagation utilisés pour leur minimisation. Le coeur du contenu mathématique du cours consistera ensuite en la présentation de résultats récents sur :
-
- Modélisation des réseaux de neurones et premières propriétés
- Back-propagation
- Estimation du risque
- Optimisation non-convexe
- Propriétés du paysage de la fonction objectif
- Expressivité
- Contrôle de l’erreur de généralisation
- Quantification d’incertitude
- Robustesse