Transformers N couches - intuition

Question

Bonjour,

Pour les CNN, augmenter le nombre de couches permet intuitivement de détecter des motifs de plus en plus précis. Quelle est l'intuition recherchée quand on multiplie le nombre de couches de Transformers ?

Merci pour votre formation et votre réponse :)

Answer 1

Bonjour pour les transformer (un peu comme les CNNs aussi) multiplier le nombre de couches permet d'augmenter le niveau d'abstraction. Un texte simple aura besoin de peu de couche, un texte  avec des notions abstraites ou complexes aura besoin de beaucoup de couche.

Merci à vous.