0 votes
par dans Séquence 11
Pour les VAE, cette total loss (divergence KL + reconstruction loss) est-elle toujours la fonction à minimiser pour obtenir le modèle le mieux entraîné possible ?

Comme la divergence KL est un compromis, celle-ci doit -elle atteindre une valeur constante, puis ensuite, au fil des epochs, le modèle s'entraîne alors en baissant la valeur de la reconstruction loss, afin d'aussi diminuer la total loss N?

2 Réponses

0 votes
par Vétéran du GPU 🐋 (68.8k points)
sélectionné par
 
Meilleure réponse
Généralement oui.

Effectivement, la partie KL va finir par se stabiliser et c'est la reconstruction loss qui devra diminuer pour continuer à minimiser l'erreur.

Continuer à utiliser la total loss permet d'avoir une certaine agilité pour descendre plus bas dans les 2 loss.
0 votes
par
Le N n'a rien à faire dans ma question.
...