Bjr,
Une petite suggestion: slide 34 (Attention explained - 4) les mots "I" "am" ... sont dans des rectangles legerement grises. Je suppose que c'est pour illustrer que ce sont les vecteurs issus du passage de l'embedding des dits mots à travers la matrice "V" de meme couleur.
C'est pas tres facile en fait, on pourrait sans doute a tors si j'ai bien compris, qu'il sagit directement des mots "I" "am"....
D'ou la suggestion sur le slide 31 (Attention explained - 1 (full))
- mettre l'equivalent de d_k pour les vecteurs d'entrees (par ex. d_in)
- dans les matrices K,Q,V mettre à chaque ligne les mots "I" "am" "trying"... etc sans les cases noires
- dire qu'en general d_k = d_in = taille du vecteur
Le point "2" permet par la suite d'utiliser les lignes colorees avec les mots ecrits à l'interieur...
Voila ma pte suggestion que pour moi-meme je me serait faite.
Merci en ts les cas pour la presentation tres pedago.
