Comment l'Embedding est il réalisé ?

Question

y'a t-il une transformation sparse -> sémantique par langue ? y'a t-il des invariants à travers les langues ?

Answer 1

Plusieurs méthodes existent. La plus simple (et plus utilisée) est de d’abord créer un dictionnaire de tous les mots que vous voulez utiliser (si c’est un modèle de français ce sera tous les mots de la langue française, si c’est multilingue ce sera tous les mots des langues voulues). Chaque mot sera associé à un id (un nombre entier). Puis lors de l'entraînement d’un modèle de deep learning, la première couche sera une couche d’embedding qui va associer un id à un vecteur qui sera déterminé par les poids de l’embedding. Lors de l'entraînement les poids vont changer (le modèle apprend) et donc les vecteurs commenceront à représenter mathématiquement la sémantique des mots (https://miro.medium.com/max/1400/1*SYiW1MUZul1NvL1kc1RxwQ.png).
Nous verrons un peu plus l’embedding dans la séance des transformers. Voulez-vous plus d’informations ?