Différentes fonctions d'activation au sein d'une même couche ou entre elles ?

Question

Est-ce qu'on met de temps en temps des fonctions d'activation différentes selon les neurones d'une même couche ? Ou entre les couches ?

Merci ! :-)

Answer 1

On ne mets jamais (quasiment) des activations différentes sur les neurones d'une même couche. Ce ne serait pas efficace en terme de calcul.
Entre les couches cela peut être fait mais c'est rares (trop d'hyperparamètres à optimiser).

Comments

Ok merci beaucoup !