Warm-start pour cGAN

Question

Bonjour,

M.Parouty a mentionné la possibilité d'entrainer en local les GAN sur 0.01% de l'ensemble d'entrainement pour commencer a voir des résultats algorithmiquement.

Il me semble avoir entendu parler de la méthode dite de "warm-start" pour entrainer le réseau avec peu d'image puis l'ajuster (fine-tuning) avec l'ensemble des data a disposition pour finaliser l'entrainement. Est-ce possible/recommandé pour le cas des GAN ?

Merci.

Answer 1

L'entrainement du GAN sur 1% (ou autre) du dataset permet dans notre cas d'avoir des résultats rapidement sur une petite machine type laptop.

Effectivement, il y a des techniques utilisant des warm-start/up (via des sub-datasets, un LR scheduler, etc) mais ce n'est pas en lien avec ce que l'on fait.

On ne fait pas de fine-tuning à la suite d'un train sur seulement 0.01% du dataset. On parlera du fine-tuning dans de prochaine séquence.

Il n'y a pas de contre indication à faire du fine-tuning sur un GAN (mais à la suite d'un vrai entraînement).