Fondements Théoriques du deep learning
S. GERCHINOVITZ, F. MALGOUYRES, E. PAUWELS (Université Paul Sabatier), N. THOME (CNAM)
Deep LearningLearning

Prè-requis

Notions de base en Analyse, statistique et apprentissage machine, en programmation en python

Objectif du cours

L’objectif principal de ce cours est de présenter des résultats représentatifs de la recherche actuelle sur les justifications mathématiques des algorithmes d’apprentissage profond; puis de faire le lien avec la mise en pratique de ces algorithmes.

Mode de validation

– 1 examen final (90% de la note)
– 1 travail à la maison avec implémentation d’algorithme (10% de la note)
– Pour le rattrapage du cours, nous prévoyons de faire un examen de rattrapage dont la note remplacera les notes précédentes.

Thèmes abordés

Nous commencerons par formaliser différents modèles de réseaux et par décrire des algorithmes de back-propagation utilisés pour leur minimisation. Le coeur du contenu mathématique du cours consistera ensuite en la présentation de résultats récents sur :

    • Modélisation des réseaux de neurones et premières propriétés
    • Back-propagation
    • Estimation du risque
    • Optimisation non-convexe
    • Propriétés du paysage de la fonction objectif
    • Expressivité
    • Contrôle de l’erreur de généralisation
    • Quantification d’incertitude
    • Robustesse
Les intervenants

S. Gerchinovitz

F. Malgouyres

E. Pauwels (Université Paul Sabatier)

Nicolas Thome (CNAM)

voir les autres cours du 2nd semestre