Objectif du cours

Des résultats impressionnants sont obtenus pour la génération d’images et de divers signaux avec les modèles de score-diffusion à base de réseaux de neurones profonds. Cependant, ces modèles restent mal compris mathématiquement. Ce cours reprend la problématique de génération de données à partir des algorithmes de Monte Carlo par Chaines de Markov (MCMC), pour ensuite se diriger vers les algorithmes de score-diffusion, en passant par l’échantillonnage avec l’équation de Langevin.

Le cours considère les deux aspects de la génération : la modélisation des distributions de probabilités qui nécessite d’introduire une classe d’approximation, et leur échantillonnage pour générer de nouvelles données. Il commence par l’échantillonnage de distributions de probabilités par algorithmes de Monte Carlo et l’étude de la convergence des chaines de Markov, ce qui nous amènera à l’algorithme de Metropolis.

Dans un second temps on considère l’échantillonnage de distribution de Gibbs par l’équation de Langevin dont les propriétés sont étudiées à travers les propriétés de convergence des chaines de Markov. On considère le cas particulier des énergies convexes pour lesquelles la convergence est exponentielle.

Un modèle de probabilités peut s’estimer par maximum de vraisemblance. On verra que l’algorithme de score-matching est beaucoup plus rapide mais nécessite des hypothèses supplémentaires pour garantir sa convergence. La génération par score-diffusion peut s’interpréter comme un transport de mesure. C’est remarquablement efficace mais cela nécessite d’estimer le score d’une distribution de probabilité, qui souffre de la malédiction de la grande dimension. Les réseaux de neurones semblent capables de contourner cette malédiction, ce que l’on étudiera dans la dernière partie du cours.

https://www.college-de-france.fr/site/stephane-mallat/