Dans la réalité cela va dépendre de la tâche à accomplir, si la tâche nécéssite une information présente dans un passé lointain, le RNN va perdre cette information au fil de la récurence si ll n'a pas de mémoire, il ne pourra donc pas correctement répondre à la tâche.
On observe la même chose si on essaye de l'utiliser sur ces tâches à long terme avec des chaines de Markov
"Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »). "
Donc une simulation de diffusion de chaleur OK,
Mais un jeu de Go PAS OK