Descente de gradient VS algo non linéaire

Question

Bonjour,

Une descente de gradient peut rester coincé dans un minimum local, non ? N'est ce pas dangereux pour trouver des paramètres sur un modèle qui finalement n'est pas linéaire ? Ne vaudrait-il pas mieux utiliser une méthode non-linéaire, Monte Carlo, Recuit Simulé ou dans le genre ?

Merci,

Vincent.

Answer 1

Une descente de gradient peut tout à fait rester dans un creux local. C'est un point que l'on verra de nouveau en détails dans les prochaines séances.

Pas forcément, notre modèle possède de la non linéarité grâce à ses fonctions d'activations. Cela nous permet donc de fit quelque chose de non linéaire.

Cela dépend du problème (dimensionnalité).