Transformers sont trop bons ?

Question

Que signifie exactement cette phrase ? (peut-être faut-il attendre la suite du cours...).

Efficaces en temps de calcul ? De taille de données ingérées ?

De metrics? ... De tout ça ??

Answer 1

L'architecture du transformer est très efficace et permet une parallélisation importante. Il est idéale pour former de très gros modèle.

On va voir ça par la suite

Comments

Mais bien sur il y a un cout !! on pourra en débatre à la fin de la séquence.