Calcul de l'attention

Question

Bonjour,

Que se passe-t-il si on calcule l'attention  en faisant Q*QT au lieu de Q*KT ?

Merci :)

Answer 1

Bonjour, Q K, V vient du mecanisme d'attention où Q et K sont différents.

Hors là on vous présente l'auto-attention, donc effectivement oui Q = K

Comments

Q et K != permet d'obtenir une matrice pas obligatoirement symétrique, chose utile si certains mots ont une importance vers d'autre unilatéralement seulement.