Séquence : 18
Passer à la vitesse supérieure : l'accélération matérielle et techniques avancées d'optimisation de l'apprentissage
Mercredi 7 Mai 2025, à 14h00
Live à venir, prévu le :
Mercredi 7 Mai 2025, à 14h00
Durée: 2.0h
Au sommaire :
  • Techniques d’optimisation de la descente de gradient

  • Recherche d’hyperparamètres (HPO) efficiente

  • Suivre et archiver ses entraînements pour les améliorer (outils de visualisation)

  • Présentation du supercalculateur Jean Zay

  • Optimisation du chargement et prétraitement des données sur CPU

  • Calcul sur GPU et problématiques mémoire

  • Data parallelism

  • Optimisation ZeRO de DeepSpeed

  • Pipeline parallelism

  • Tensor parallelism

Durée: 2.0h
Chaine YouTube