inefficacité relative de la méthode des gradients

Question

Bonjour,

La recherche d'un minimum local par un algorithme n'est pas récente mais a montré que la méthode des gradients était peu efficace dans les vallées. Comment les chercheurs en IA ont tenté de résoudre ce problème ? En multipliant les procédures d'apprentissage, Fine Tuning et autres ? Par ailleurs, la solution trouvée n'est peut être qu'un minimum local ? Comment abordez vous ces problèmes ?

Answer 1

Bonjour,

La séance prochaine "Séquence 6 : Méthodologie des modèles/apprentissage + fine-tuning + TP" va traiter rapidement de ce sujet.

On abordera de façon plus pointue ces réponses avec la séquence "Séquence 17 : Apprendre plus vite et moins cher, optimiser l’apprentissage et réduire notre empreinte carbone".

Concernant la solution en minimum local on verra que ce n'est pas tant un problème que ça (voire même un avantage).

Comments

Merci pour votre réponse. J'attends avec impatience ces 2 séances et m'avoir mis l'eau à la bouche.