0 votes
par (310 points) dans Séquence 16
Bonjour, j'ai peut-être raté quelque chose mais quelle est la définition du learning rate ?

Par ailleurs, je pense que je comprends l'idée mais je ne vois pas à quel moment il va intervenir lors de l'apprentissage.

Merci d'avance.

1 Réponse

0 votes
par Vétéran du GPU 🐋 (68.8k points)
sélectionné par
 
Meilleure réponse
Après être repassé sur les slides, c'est effectivement un point qui n'a pas été clairement noté mais qui pour sûr a été évoqué à nombreuses reprises.

Le learning rate est juste un facteur d'échelle que l'on va appliquer à notre gradient pour faire la mise à jour des poids lors de la backpropagation (dans un contexte de DL).

C'est le 1er hyperparamètre d'un apprentissage. Son impact est très important. Comme j'ai pu le présenter durant la séquence 16, un bon choix de lr permet une meilleure convergence durant l'apprentissage (vitesse, stabilité,valeur).
par (310 points)
Merci pour la réponse.

Par contre, j'ai beau cherché, je n'ai pas trouvé d'autres allusions au learning rate (mais j'ai peut-être besoin de lunette :)
...