Fondements Théoriques du deep learning
S. Gerchinovitz, F. Malgouyres, E. Pauwels (Université Paul Sabatier), Nicolas Thome (CNAM)
Deep LearningLearning

Prè-requis

Notions de base en Analyse, statistique et apprentissage machine, en programmation en python

Objectif du cours

L’objectif principal de ce cours est de présenter des résultats représentatifs de la recherche actuelle sur les justifications mathématiques des algorithmes d’apprentissage profond; puis de faire le lien avec la mise en pratique de ces algorithmes.

Mode de validation

– 1 examen final (90% de la note)
– 1 travail à la maison avec implémentation d’algorithme (10% de la note)
– Pour le rattrapage du cours, nous prévoyons de faire un examen de rattrapage dont la note remplacera les notes précédentes.

Thèmes abordés

Nous commencerons par formaliser différents modèles de réseaux et par décrire des algorithmes de back-propagation utilisés pour leur minimisation. Le coeur du contenu mathématique du cours consistera ensuite en la présentation de résultats récents sur :
– l’optimisation non-convexe ;
– les propriétés du paysage de la fonction objectif ;
– la stabilité des minimiseurs (notamment dans le cas de réseaux linéaires structurés); l’interprétabilité des réseaux;
– l’expressivité des réseaux, leur complexité de Rademacher et la régularisation avec le dropout ;
– des propriétés des Generative Adversarial Networks (GANs).
– des propriétés de robustesse décisionnelle des réseaux profonds (incertitude, stabilité)

Les intervenants

S. Gerchinovitz

F. Malgouyres

E. Pauwels (Université Paul Sabatier)

Nicolas Thome (CNAM)

voir les autres cours du 2nd semestre