0 votes
par dans 06 - Méthodologie des modèles/apprentissage + fine-tuning + TP
Pour la définition du learning rate, tout les exemples que j'ai vu semblent utiliser un learning rate constant, mais ne serait-il pas possible d'avoir un learning rate qui évolue à chaque epoch (plus élevé au début de l'apprentissage pour une convergence plus rapide lorsque les poids sont aléatoires, puis qui diminue au fur et à mesure qu'on s'approche de la convergence finale pour un apprentissage plus fin) ?

1 Réponse

0 votes
par Vétéran du GPU 🐋 (68.8k points)
 
Meilleure réponse
Oui,

Je vous invite à attendre la Séquence 17 : Apprendre plus vite et moins cher, optimiser l’apprentissage et réduire notre empreinte carbone
par Vétéran du GPU 🐋 (68.8k points)
Si vous êtes impatient, vous pouvez aller voir l'épisode de la saison dernière https://www.youtube.com/watch?v=ihMU6X3F664
...