0 votes
par dans 09 - Transformers
Bonjour,

Pour les CNN, augmenter le nombre de couches permet intuitivement de détecter des motifs de plus en plus précis. Quelle est l'intuition recherchée quand on multiplie le nombre de couches de Transformers ?

Merci pour votre formation et votre réponse :)

1 Réponse

0 votes
par Vétéran du GPU 🐋 (11.2k points)
sélectionné par
 
Meilleure réponse
Bonjour pour les transformer (un peu comme les CNNs aussi) multiplier le nombre de couches permet d'augmenter le niveau d'abstraction. Un texte simple aura besoin de peu de couche, un texte  avec des notions abstraites ou complexes aura besoin de beaucoup de couche.

Merci à vous.
...