AlphaTensor pour Transformers

Question

En voyant tous les produits matriciels qui sont faits dans les transformers, je me dis que l'algorithme amélioré de multiplication de matrices trouvé par AlphaTensor doit avoir permis d'accélérer les calculs en transformers ?

Answer 1

je dirais pas encore c'est tout récent mais à terme oui très certainement.

Comments

L'amélioration de la multiplication de matrice va s'intégrer dans les librairies bas niveaux. Le gain que l'on va obtenir s'appliquera à la plupart des modèles de deep learning (pas que les transformers)