+2 votes
par dans Séquence 1
reclassée par
Bonjour,

Y a-t-il une stratégie pour bien choisir sa valeur initiale pour amorcer la descente de gradient ?

Merci.

2 Réponses

+1 vote
par Vétéran du GPU 🐋 (11.2k points)
sélectionné par
 
Meilleure réponse
Il y a différents algorithmes pour l'initialisation des poids d'un réseau de neurone : Xavier, Kaiming, ... qui marchent plus ou mins selon le type de couche de neurones.
C'est un problème qui déjà bien résolu et connu actuelement.

Xavier uniforme ou gaussien ou Kaiming uniforme ou gaussien comme dit Nathan ce sont les bornes qui changent selon les algos.
0 votes
par Vétéran du GPU 🐋 (48.7k points)
On fait un tirage aléatoire car généralement on a pas de meilleures solutions. Une loi aléatoire uniforme, ou gaussienne notamment, selon les méthodes.
...