génération équiprobable

Question

Slide 25 de la séance 11: Le fait que les zones d'influences de chaque catégorie (nombre) soit différente n'induit pas des soucis dans l'apprentisage? En particulier, la génération, en moyenne, génèrera plus de chiffre d'une certaine catégorie que d'une autre, simplement parce que, si j'interprète bien ce graphe, ils sont plus facile à reconnaître?

Est-ce que mon analyse est bonne, ou je loupe quelque chose d'important?

Answer 1

Dans ce cas là, on ne regarde que deux des dimensions donc ça ne représente pas toute la distribution. Mais sinon oui tu as raison. Un autre type de modèle générateur qu'on verra la prochaine fois (les GAN) ont d'ailleurs le problème d'effondrement des modes : ils génèrent toujours la même chose. C'est un cas d'échec de ce type de réseau.

Answer 2

Oui l'analyse est bonne. C'est le signe d'un apprentissage qui a convergé dans un minimum local ou d'un dataset biaisé.