0 votes
par dans 09 - Transformers
Bonjour,

L'exemple classique cité dans les vidéos consiste à dire qu'un transformer sait faire la différence entre avocat/fruit et avocat/juriste en tenant compte du contexte. Cependant, il n'y a qu'un seul mot dans le dictionnaire : "avocat". Comment les deux sens sont-ils représentés dans le dictionnaire ? Est-ce que le transformer en vient à créer deux entrées différentes : avocat1 et avocat2 avec des embeddings différents ? Si c'est le cas, à quel moment le transformer décide-t-il de splitter deux entrée pour un même mot du dictionnaire ? Et que va-t-il se passer pour les autres mots du dictionnaire ? Un mot comme "table" va lui aussi splitter en différents sens distincts : table (de multiplication), table (mobilier), table (des matières), table (restaurant), etc. ?

1 Réponse

0 votes
par Vétéran du GPU 🐋 (48.7k points)
sélectionné par il y a
 
Meilleure réponse
Avocat n'apparaîtra qu'une seule fois dans le dictionnaire. L'embedding associé à ce mot devra couvrir tous les sens qu'il peut prendre (en l'occurrence le fruit et la personne). Si on avait une coordonnée qui désigne la nourriture alors elle sera importante pour avocat, même chose pour une coordonnée qui parlerait de la justice. (c'est juste une exemple, en réalité, chaque coordonnée est beaucoup plus abstraite). C'est grâce au mécanisme d'attention que le transformer va pouvoir modifier l'embedding d'un mot pour ne garder que les composantes pertinentes.
...