Activation function

Question

Quel est l'intéret d'une fonction d'activation ?

Answer 1

La fonction d'activation permet d'ajouter des non-linéarités dans le réseau de neurones. ça lui offre la possibilité de représenter des fonctions non-linéaires et donc des patterns plus complexes. Sinon la fonction est forcément linéaire ce qui limite l'intérêt (peu de phénomènes dans la vraie vie sont parfaitement linéaires).

Answer 2

La fonction d'activation permet d'ajouter de la non-linéarité, sachant que sans fonction d'activation, on se retrouve avec simplement des opérations de sommes pondérées.