0 votes
par dans 08 - RNN et Embedding
bonjour,

J'ai compris l'intéret pédagogique du système d'itération pour prévoir les 5 positions suivantes car utile dans d'autres situations. Cependant, pour Ladybug la totalité des informations disponibles est contenue dans les n positions initiales (n=20) seulement et le fait d'utiliser la position calculée n+1 pour prévoir celle à n+2 n'apporte pas d'information supplémentaire mais une position entachée d'erreur. On peut améliorer les résultats en demandant au modèle de prévoir, simultanément, les 5 positions futures (au step 3, le layers. Dense doit avoir 10 sorties au lieu de 2 ). La boucle d'itération peut alors etre supprimée. Une fois cela fait, on constate une nette amélioration des résultats. Une autre voie est d'augmenter max_t=1000 car le cycle complet semble etre supérieur à 10.000 et avec max_t=1000 Ladybug n'a parcouru qu'une partie du cycle: son apprentissage est incomplet.

Question: 1°) est ce que le raisonnement "toute l'information est contenue dans les n=20 positions initiales et donc que l'on doit s'appuyer uniquement sur ces valeurs pour faire des prévisions" est exact ? Ou bien, le principe d'itération a d'autres avantages.

2°) y a t-il un moyen d'optimiser le nombre de cellules GRU/LSTM ? Est ce que Tensorboard peut etre utile pour cela ? Comment ?

Par avance, merci de vos réponses.

1 Réponse

0 votes
par Vétéran du GPU 🐋 (65.7k points)
sélectionné par
 
Meilleure réponse
L'idée derrière votre proposition me semble correcte.

1) Effectivement si on donne plus d'information (donc l'enemble des positions précédentes) on peut espérer une meilleur prédiction, cependant le choix de la méthode va dépendre en partie de l'utilisation du modèle que l'on va vouloir faire par la suite. Imaginons que je me retouve avec une vidéo de surveillance de ladybug ou je n'ai que 2 images d'historique ?  Cela va poser problème...

2) On peut réaliser une recherche d'hyperparamètre (aka ici le nombre de cellule) et dans ce cas on affichera nos != expériences sur tensorboard. On peut avec Tensorboard voir les distributions de poids de nos couches ce qui peut nous permettre d'observer des choses mais c'est assez complexe et para forcément généralisable.
par
Merci pour vos explications.
...