Exigence des diffusion models en termes de quantité de données et de puissance de calcul

Question

Bonjour,

Les diffusion models sont-ils exigeants en termes de quantité de données ou de puissance de calcul ? Quel est le niveau de cette exigence ?

Merci pour le cours,

Answer 1

Ça dépend de l'objectif poursuivit :
- Pour un gros modèle comme Stable Diffusion qui doit pouvoir générer à peut près n'importe quoi, oui c'est gourmand en ressources ( 150 000 h sur des GPU A100 80 Go)
- Pour une génération d'images ciblée donc dans un domaine restreint (des chats, des vêtements...) cela n'est pas forcément gourmand en ressources

Comments

Pour les modèles Text2Images, le dataset se compose d'images annotées. Pour de bons résultats, on a besoin d'une bonne variété d'image et de texte.

Answer 2

Cela dépends de la tâche. Dans le TP que l'on va faire: 60 000 images et seulement 3min. Stable Diffusion, de l'ordre de la centaines de millions d'image et un entraînement de plusieurs semaines sur tout un cluster (presque).