Question

C'est quoi le dropout() entre les couches ?

Answer 1

C'est une couche qui éteint certains neurones de manière aléatoire. ça permet de forcer le réseau à ne pas trop s'appuyer sur un seul neurone mais sur toutes les informations mises à sa disposition. Ça permet aussi de limiter le surapprentissage. C'est donc une méthode de régularisation.

Comments

Est-ce que ce serait une bonne stratégie d'éteindre les neurones, non pas aléatoirement, mais en priorité ceux qui participent le mieux à la classification, de façon à apprendre au réseau à "se passer des meilleurs" ?

---

J'avoue je n'ai jamais vu ça. En fait le tirage est fait indépendamment pour chaque neurone donc l'extinction de l'un ne change rien à l'extinction de l'autre. Se passer des meilleurs semblent sous entendre une dépendance des tirages aléatoires. Une probabilité de drop qui dépend des paramètres, j'imagine qu'en théorie c'est possible mais je n'ai jamais vu ça. Je pense qu'on veut garder une bonne idée du nombre de neurones qu'on éteint (estimé par le nombre de neurone * la probabilité d'extinction)

---

Ok, merci. Par exemple je verrais l'extinction des 10 ou 20% de neurones qui donnent les valeurs les plus élevées. Ou les 5% les plus élevés dans chaque couche etc...

---

Je n'ai jamais vu ça. Intuitivement j'ai l'impression que ça force un dropout non aléatoire qui aura tendance à toucher toujours les mêmes neurones donc il faut faire attention. Sinon il faudrait faire des recherches, ça a surement été creusé par des chercheurs j'imagine.

Answer 2

C'est une option qui désactive certaine neurones du réseau lors de l'entrainement pour éviter des phénomènes de sur-apprentissage lié au fait que certaines neurones deviennent trop importantes par rapport à d'autres.