Extinction ciblée des neurones dans les CNN ?

Question

​On ne peut pas mettre une commande pour "éteindre" les neurones en fonction de leur "utilisation" plutôt qu'en aléatoire ?

Answer 1

On peut “éteindre” intentionnellement certains neurones mais ce sont des techniques très avancées et peu utilisées (comme les Mixture Of Expert). Généralement, on laisse le NN se débrouiller (surtout avec les CNN).

Comments

Ok ! Je pensais plus à un système où on éteindrait pas "spécifiquement" un set de neurones mais plutôt certains en fonction de leur utilisation/importance

---

C'est en effet une stratégie appliquée à la fin d'un entrainement pour obtenir un réseau "léger", on parle de distillation/pruning. Très bonne intuition!