Le dropout choisit-il les neurones dropés aléatoirement ?

Question

Titre.

Answer 1

Oui et cela change d'une step à l'autre uniformément

Answer 2

Oui. Le paramètre en entrée c'est la probabilité pour chaque neurone. S'il est dropé il est mis à 0. On fait ça pour rendre le réseau plus robuste. Cela n'est vrai que pendant l'apprentissage par contre. Pendant l'inférence, on veut vraiment utiliser toute l'information.

Answer 3

Chaque neurone a une probabilité d'être désactivé.