L'overfitting arrive quand on entraîne trop et que le réseau est trop "intelligent" par rapport à la tâche qu'on souhaite résoudre. Les deux raisons principales de l'overfitting c'est un réseau trop gros et trop profond et un apprentissage trop long. Raccourcir l'apprentissage permet d'éviter l'overfitting même si on a un réseau un peu gros.