Stabilité du modèle

Question

Que désigne-t-on exactement par stabilité ou instabilité du modèle ?

Est-ce que cela désigne les poids de pondération qui restent presque de même valeur ?

Answer 1

Il y a différentes façons de comprendre la stabilité d'un modèle.

On peut penser à sa capacité de généralisation (stabilité des prédictions par rapport aux nouvelles données)

On peut aussi penser à la reproductibilité des résultats. Des bons résultats sur une évaluation ne nous garantie pas des bons résultats face à de nouvelles données. Il faut que le résultat qu'on annonce soit statistiquement reproductibles.

Answer 2

Je dirais pas que c'est lié aux poids du modèle, puisqu'il sont sensés converger aux termes de l'apprentissage (correspond à l'asymptote sur les dernières epochs qu'on voit dans les TP précédents)

Je dirais plutôt qu'un modèle instable donne des régulièrement des résultats très mauvais ? (et à l'inverse un modèle stable arrive à maintenir ses performances, mêmes quand on lui change les sous-datasets train/test utilisés)

Comments

D'accord. Merci pour ces précisions.

Answer 3

Il peut arriver qu'un modèle n'arrive pas à apprendre et l'on n'a de fait pas une belle courbe pour la loss qui tend vers 0 (ce qui signifie que le modèle répond de mieux en mieux).
Cela arrive par exemple si le taux d'apprentissage (learning rate) est trop élévé et qu'il y a une "surcorrection" du modèle entre chaque lot de données. La Loss aura tendance à faire des "bonds".
Si le dataset de validation (à la fin de chaque époque) n'est pas représentatif du dataset d'entraînement (utilisé pour corriger le modèle), cela arrive aussi.