Que faire si le GAN n'arrive pas à reproduire toute la variabilité des données d'entrainement ?

Question

Avec un GAN, comment être sûr qu'on arrivera à produire des images aussi variées que celles de l'ensemble d'entrainement ?

Answer 1

C'est un vrai soucis, ça s'appelle l'effondrement des modes (le GAN finit par avoir toujours la même sortie). Y a des solutions pour limiter ça mais elles sont assez complexes et jamais magiques. C'est pour ça que les GAN sont souvent difficiles à entraîner, c'est un modèle assez capricieux.

Y a un bon résumé de ce qu'on peut faire sur cet article cependant : https://lesdieuxducode.com/blog/2022/3/gan---comment-gerer-les-problemes-communs-des-reseaux-adversaires-generatifs

Comments

Merci pour la réponse et pour l'article !

Je n'avais pas en tête le mode collapse, le GAN que j'ai entraîné arrive quand même à avoir une bonne variabilité, il peut générer beaucoup d'images différentes et est loin de bloquer que sur une ou quelques sorties. Mais même si sa variabilité est assez bonne, elle l'est quand même nettement moins que celle des données d'entrainement.

Est-ce que ça pourrait être dû à un espace latent trop petit ? A une sous-représentation de certains types d'images dans les données d'entrainement ?
Ou bien est-ce que ça peut-être en effet du mode collapse (mais un mode collapse beaucoup moins prononcé que dans les cas où ça bloque sur quelques modes) ?