Apparus en 2015 (Diffusion Probabilistic Model), fortement améliorés en 2020 avec l’introduction des DDPM (Denoising Diffusion Probabilistic Model), les modèles de diffusions sont une nouvelle classe d’algorithmes génératifs à l’instar des VAEs ou des GANs.
Rendus célèbres par les modèles de génération d’images à partir de descriptions textuelles tels que Stable Diffusion ou Dall-E 2, les modèles de diffusions sont aujourd’hui l’état de l’art de la génération d’images et sont omniprésents dans tous les champs d’applications demandant la génération d’image.
L’objectif de cette séquence est de découvrir les grands principes de cette famille de modèles.
Principe des Diffusion Model
Le processus et l’architecture du DDPM
Améliorations et optimisations des DDPM
Exemple proposé : Génération d’une garde robe
text-to-image
text-to-video