0 votes
par dans Séquence 10 : TP
Bonjour,
Je me suis rendu compte que le notebook AE2 fonctionne très bien si on entraine l'AE avec les données bruitées uniquement (cas dans lequel on n'a pas de version débruitée de ses données).
Par contre cette approche ne marche pas si on ajoute du bruit spatialement corrélé (j'ai testé avec des grosses taches blanches ou noires générées avec une somme de Gaussiennes 2D aléatoires). Il semble que l'AE se comporte plus ou moins comme une sorte de filtre passe bas (je crois comprendre qu'il n'y a pas assez de degrés de liberté dans l'espace latent pour fitter le bruit HF). Si c'est le cas, l'AE perd un peu tout son sens, car un filtre BF serait assez rapide sur ce type d'images 28x28.

Peut on s'en sortir malgré tout en jouant sur la taille des kernels de convolution ? ou bien sur le nb de dimensions de l'espace latent?
Merci!

1 Réponse

0 votes
par Vétéran du GPU 🐋 (68.8k points)
 
Meilleure réponse
Bonjour,

Si vous avez de la cohérence dans les tâches que vous ajoutez dans vos images c'est normal que le modèle ne les "filtre" pas car à un certains niveau il va les considérer comme faisant parti de l'image (une caractéristique de celle-ci).

Si vous fournissez au modèle uniquement des photos prisent depuis une lentille disposant d'un défaut optique, il reconstruira uniquement des images contenant ce même défaut (au plus proche possible). Si vous demandez à un enfant de dessiner un cheval en lui montrant que des images de zèbres, il vous le dessinera avec des rayures.

Tout va dépendre en grande partie de votre dataset d'apprentissage.

L'exemple donné dans le TP montre l'application pour le débruitage mais ce n'est qu'un cas d'usage possible. Même si on ne fait 'que' enlever le bruit, en réalité on compresse de l'information dans l'espace latent, une information qui pourrait être réutilisé pour d'autres tâches.

Pour votre expérience, je pense qu'en travaillant votre dataset et effectivement en jouant sur l'espace latent (et d'autres hyperparamètres...) vous devriez pouvoir vous en sortir.
par
Merci pour votre réponse,
On aurait pu s'attendre à ce que l'AE "comprenne" que les taches sont aléatoires et que les chiffres sont répétables,
Dans votre exemple : l' enfant pourrait s'apercevoir que les tâches sont toujours différentes et qu'elles ne sont donc pas un signe distinctif représentatif du cheval, et donc il pourrait choisir de les ignorer... Si c'était possible ce serait vraiment très utile.
...