Rôle de l'optimizer

Question

Bonjour, tout d'abord merci pour la formation que vous proposez. C'est vraiment très pédagogique.

J'ai cependant une petit question pour être sûr d'avoir compris.

Est-ce que c'est bien l'optimizer qui définit la recette de cuisine permettant de calculer les nouveaux poids à l'aide des anciens et des gradients associés ? (calcul du lambda dans l'exemple indiqué sur le slide 72)

Merci d'avance.

Answer 1

Oui, l'optimizer est la méthode / stratégie qui permet de de minimiser la loss en modifiant la valeur des poids du réseau. Il en existe plein qui sont plus ou moins différents des uns des autres. SGD (Stochastic Gradient Descent) en est un exemple qui est beaucoup utilisé.

Comments

Merci Léo pour cette précision, j'ai enfin compris le rôle de l'optimizer...
Dans PyTorch, la fonctionnalité est décrite ici :
https://pytorch.org/docs/stable/optim.html

Il me semble que Laurent Risser en a parlé en fin de session sur les concepts Mathématiques (en ne modifiant qu'une partie des entrées du CNN ?)