Initialisation des poids

Question

Les poids sont initialisées aléatoirement lors du premier apprenitssage d'un réseau?

Answer 1

Oui aléatoirement distribution uniforme ou gaussienne. Les bornes de la distribution sont établis selon des algos : Xavier ou Kaming.
C'est un domaine de recherche largement documenté. Aujourd'hui pour un ingénieur Deep Learning l'initialisation est quelquechose de complètement automatique (dans TF, keras, pytorch, ...) auquel on ne pense pas

Answer 2

c'est exact, mais il peut être intéressant de charger des poids provenant d'un modèle déjà entraîné même si la tâche est différente (modulo le formats des entrées sorties qui doit être similaire ou adapté)