Généralement oui, on commence à réfléchir à ce type de question sur des gros modèles. Les séquences sur les optimisations software et hardware sont là pour en discuter.
On stocke sur la RAM (idéalement sur GPU) le modèle et les batchs. Les vitesses élevées des SSD ne le sont pas pour du calcul. C'est vraiment quand on a pas le choix que l'on décharge sur un autre matériel.
