Bonjour,
L'exemple classique cité dans les vidéos consiste à dire qu'un transformer sait faire la différence entre avocat/fruit et avocat/juriste en tenant compte du contexte. Cependant, il n'y a qu'un seul mot dans le dictionnaire : "avocat". Comment les deux sens sont-ils représentés dans le dictionnaire ? Est-ce que le transformer en vient à créer deux entrées différentes : avocat1 et avocat2 avec des embeddings différents ? Si c'est le cas, à quel moment le transformer décide-t-il de splitter deux entrée pour un même mot du dictionnaire ? Et que va-t-il se passer pour les autres mots du dictionnaire ? Un mot comme "table" va lui aussi splitter en différents sens distincts : table (de multiplication), table (mobilier), table (des matières), table (restaurant), etc. ?
