Imbrication software/hardware

Question

Nous sommes en train de voir comment implémenter l'accélération matérielle et la "parallèlisation" dans Pytorch, mais à quel moment cela se lance ?  J'ai du mal à voir à quel moment interagit cette technique avec celles que nous avons vues dans les séquences 1 à 15 (c'est à dire les différents types de réseaux de neurons, et leur entraînement avec Keras, Pytorch, python, etc,...).

Answer 1

Vous parlez d’un point de vue théorique ou de l’implémentation dans le code ?
Pour le code, il faut simplement ajouter quelques arguments pour que pytorch ou deepspeed (ou autres) fasse la parallélisation (pour les cas simples). Par exemple : http://www.idris.fr/jean-zay/gpu/jean-zay-gpu-torch-multi.html

Comments

Merci pour ce lien. J'ai aussi entendu les explications en direct.

Answer 2

Je dirais qu'on ajoute un niveau d'abstraction

=> Dans les portions de code qu'on voit parfois dans la présentation, le modèle est juste une variable qu'on fournit aux fonctions de parallélisation

=> C'est en déclarant cette variable "modèle", qu'on y met ce qu'on veut (un CNN, un transformer etc) et qu'ensuite on l'entraîne comme on veut avec encore une autre fonction d'entraînement

Comments

D'accord. Je pense comprendre sur le papier. Le modèle devient une simple variable. Par contre, j'ai du mal à imaginer ce qui se passe derrière, malgré la présentation du matériel. Mais j'essaierai de me renseigner.

Answer 3

Pour être plus clair, s'occupe-t-on d'abord de cette question de hardware avant de lancer l'entraînement d'un modèle sur un ensemble de données ou après, voire en même temps ?