Poser une question

Comment sont entraînés les réseaux qui produisent les matrices QKV ?

0 votes
par dans Séquence 8

2 Réponses

0 votes
par Vétéran du GPU 🐋 (68.8k points)
sélectionné par
 
Meilleure réponse
De la même manière que les autres réseaux. Retro-propagation du gradient !
par
Est-ce un apprentissage supervisé ?
par Vétéran du GPU 🐋 (68.8k points)
Généralement oui mais pas obligatoire. Bert ou GPT, c'est de l'autosupervisé
0 votes
par
Et en quoi diffèrent-ils ?
Snow Theme by Q2A Market
Powered by Question2Answer
...