Normalisation [-1 1]

Question

A un moment, il est dit que les donnees doivent etre normalisees pour etre entre -1 et 1, pourquoi cela? Pourquoi pas [0 1] quelle difference cela fait-il?

Aussi pour la standardisation (vs normalisation) y-a-t-il des cas particuliers ou on voudrait l'utiliser au lieu d'une normalisation? un SVM par exemple doit avoir ses donnees normalisees, mais un reseau de neurones je crois peut mieux gerer des donnees standardisees (pas restreint a [-1 1] ou [ 0 1] donc)?

Answer 1

[-1 1] ou [0 1] ça revient unpeu au meme pour le réseau. Il peut faire le décalage avec le biais et dans les deux cas on est dans une bonne région de notre fonction d'activation (i.e. une région où le gradient est pas trop petit). Pour la normalisation vs standardisation, un réseau de neurones peut faire les deux. Mais si on fait une standardisation ça crée une inter-dépendance sur les données, et c'est pas ouf ça.

C'est pour ça qu'on fait gaffe aussi quand on normalise. On a le droit mathématiquement de diviser par la norme 2 du vecteur, mais ça crée des dépendances entre les coordonnées qui n'ont aucun sens, donc on veut pas faire ça.

Comments

ok merci, je me doutais bien que c'etait pas si simple et qu'il pouvait y a voir anguille sous roche. Est-ce que ca devient tres detrimental d'avoir des donnees dans [-1 1] avec ReLu et des donnees dans [0 1] avec tanh du coup ou peu importe?

En ce qui concerne les inter-dependances dues a la standardisation (et aussi normalisation alors? et la je comprends pas trop pourquoi on parle de norme de vecteur, car je parlais de minmax scaler, il doit me manquer qquechose) je coule un peu il va falloir que je fasse quelques recherches a ce sujet pour mieux comprendre, car ca me parait vraiment tres important.