Information et Complexité
S. MALLAT (ENS Ulm, Collège de France)
Machine LearningModellingSignal processing

Objectif du cours

Le cours introduit une approche mathématiques de l’apprentissage statistique à travers l’estimation par maximum de vraisemblance, la théorie de l’information et la construction de modèles d’approximation. L’apprentissage non-supervisé et supervisé passent par l’estimation de distributions de probabilité en grande dimension, à partir des données d’apprentissage. Cela nécessite de construire des modèles paramétrés, définis par une information a priori. Cela peut être des réseaux de neurones profonds dont l’architecture est spécifiée.

 

Le cours soulève les questions fondamentales de modélisation en grande dimension, et leur formalisation mathématiques à travers des mesures d’information. Il introduira les notions d’information de Fisher pour l’inférence de modèle par maximum de vraisemblance, et d’information de Shannon pour la prédiction et le codage. L’information de Shannon est basée sur une notion de concentration et de mesure d’incertitude par l’entropie.

 

La construction de classes de modèles se base sur des hypothèses concernant la structure des distributions et leurs invariants. Les liens avec la physique statistique seront explorés. On s’intéressera particulièrement aux données « complexes » qui mettent en jeux de nombreuses échelles de variabilités, que ce soit des images, des sons, des séries temporelles ou des données qui proviennent de la physique. On étudiera des applications à la compression de signaux et d’images et à l’apprentissage non-supervisé.

https://www.college-de-france.fr/site/stephane-mallat/

Organisation des séances

Le cours aura lieu du 19 Janvier jusqu’au 16 Mars, de 9h30 à 12h30, dans l’amphithéâtre Navarre du Collège de France.

Une séance de cours de 9h30 à 11h00 est suivie d’une présentation par un chercheur d’un domaine de recherche en lien avec le cours, de 11h15 à 12h30.

Cours en Français

Mode de validation

Le cours est validé par un projet sur l’un des challenges proposé par le site challenge.data.ens.fr

 

Les intervenants

Stéphane MALLAT

voir les autres cours du 2nd semestre