Séquence : 18
Passer à la vitesse supérieure : l'accélération matérielle et techniques avancées d'optimisation de l'apprentissage
Mercredi 7 Mai 2025, à 14h00
Live à venir, prévu le :
Mercredi 7 Mai 2025, à 14h00
Durée: 2.0h
Au sommaire :
  • Tout ce qu’il faut savoir du Super Computing / HPC pour un apprentissage de réseau de neuronnes

  • Optimisation du chargement et prétraitement des données sur CPU

  • Calcul sur GPU et problématiques mémoire

  • Data parallelism

  • Optimisation ZeRO de DeepSpeed et FSDP

  • Pipeline parallelism

  • Tensor parallelism

  • Techniques d’optimisation de la descente de gradient avec des Large Batch

Durée: 2.0h
Chaine YouTube