Block de couche convolutive

Question

Est ce qu'il y a un moyen de savoir combien de couches convolutives on doit mettre ?

Answer 1

Par expérience du domaine et des données analysées, et en faisant un peu de bibliographie, on a une idée de la complexité du pattern recherché et des réseaux à utiliser. Mais sinon par expérience. Souvent on prend des modèles qui ont déjà fait leurs preuves sur d'autres tâches (qu'on travaille avec des CNNs, des transformers, ou n'importe quoi d'autre)

Comments

Ne pas réinventer la roue !
Et si la roue n'existe pas, c'est expérience obligatoire en partant de la configuration la plus légère vers la plus lourde.

---

Est ce que vous avez des conseils ou des trucs a rajouter a un code pour éviter l'explosion de la mémoire d'un gpu?
En fait, en partant d'une architecture déjà faite, la mémoire a été immédiatement épuisée donc j’étais obligée a réduire le nombre et la taille des couches convolutives.

PS: je travaille avec Pytorch

---

On verra dans la session dédiée à Jean Zay comment on fait ça en abordant les techniques de parallélisation. Sinon d'autres méthodes comme le calcul en 16 bits, ou torch.no_grad si on ne fait pas de rétropropagation du gradient, etc.

---

D'accord merci !