Training de l'embedding : loss function

Question

Bonjour,

Je ne vois pas très bien comment est entraîné la couche d'embedding de keras : quelle est la loss function ? Est ce que dans notre exemple, où l'on cherche à classifier les reviews positives/négatives, cette loss function correspond aux labels des reviews ? Et on se retrouve alors avec deux dimensions pour chaque mot, l'une pour le côté positif, et l'autre négatif ?

Answer 1

La loss de l’embedding est la même loss que le reste du réseau de neurone, d’ailleurs l’embedding est la première couche du réseau de neurone. Donc l’embedding va apprendre de la même manière que les autres couches du réseau (par la rétropropagation).

Comments

Mais dans ce cas, comment le réseau peut arriver à représenter chaque mot dans un grand nombre de dimensions, quand la seule information qui est apportée lors du training est "cette review est plutôt positive" ou "cette review est plutôt négative" ?

---

Représenter les mots dans un grand nombre de dimensions n'est pas un problème en soit.

Par contre il est possible qu'un certain nombre de dimensions ne soient pas utiles pour le problème surtout s'il est simple.

---

Il le fait de la même manière qu'il apprend quels poids du modèle permettra de faire la différence entre un chat et un chien, en calculant la pente de l'erreur et en allant vers la direction de minimisation. Grâce à ça il va associer à chaque mot un vecteur qui l'aide dans sa tâche. En l'occurrence comme la tâche est le fait de savoir si une phrase est positive ou négative, l'embedding qui en ressort est grandement influencé sur le fait qu'un mot soit positif ou négatif et on en retirera pas une sémantique globale du mot. Pour savoir réellement comment on apprend la sémantique en tant que tel, la méthode sera présentée lors de la section transformers. Là on a juste une représentation associée à la tâche de classification du sentiment.

---

Oui effectivement vous avez pas tort. Dans l'exemple donné de sentiment analysis positif ou négatif, l'embeded est juste capable de rassembler les mots en fonction juste de la positivé ou de la négativité selon cette méthode. Il vous faudra utiliser une méthode global préentrainée de type glove pour ajouter toutes ses nuances de sens.

Cependant donc pour une tache plus complexe (traduction, etc) une couche embeded entrainée en direct sera très performante comme expliqué.