Nombre d'itérations d'entraînement

Question

Y a t-il une règle pour le nombre d'itérations d'entraînement nécessaire pour estimer la performance réelle d'un réseau de neurone (par rapport aux différentes composantes aléatoires du réseau) ? pendant la séance il a été dit  "10, 20 - 100 itérations et puis on regarde la gaussienne résultante et on prend le milieu" mais j'imagine que cela n'est pas toujours possible pour des très grands réseaux de neurones

Answer 1

Non pour les très gros réseaux c'est compliqué. C'est pourquoi on commence par des petits réseaux où on valide notre expérimentation et on augmente petit à petit la taille de notre modèle.

Answer 2

Aucune, une des choses qu'on fait, c'est de partitionner nos données en 3 sous-ensembles : train/val/test.

Train pour l'entrainement (on donne en boucle plusieurs exercices à faire pour l'entrainer)

Val pour évaluer si le réseau a arrêté d'apprendre et donc on peut arrêter l'entrainement (on met des évaluations intermédiaires pour voir si la machine continue d'apprendre)

Test pour une évaluation finale (examen final pour comparer les différents modèles IA, ie. d'autres réseaux, d'autres algorithmes)