0 votes
par (600 points) dans Séquence 11 : TP
Sur la démo, on voit un espace latent à 7 dimensions mais qui de l'aveu même de Jean-Luc, ne marche pas.

Si ses tests marchaient mieux, qu'il a repris les mêmes paramètres et la même seed, comment expliquer:

1) que ce ne soit pas reproductible?

2) Comment progresser dans l'apprentissage des marges de manœuvres pour améliorer le modèle (en particulier dans quelle direction aller)?

Ce qui me bloque un peu dans ce domaine, c'est la marche à franchir pour les néophytes comme moi. En l'état actuel de mes connaissances, je vais tenter un truc, ça marche, je suis content, ça ne marche pas, je suis bloqué. Je peux tenter des trucs au pifs mais j'aurai pas vraiment de méthodes pour choisir mes futurs tests.

Est-ce qu'il y a une méthodologie particulière, un livre ou cours qui conseille sur la prise de décision dans la recherche de l'application d'un modèle sur un jeu de données? A suivre toutes les séquences depuis le début, je n'ai toujours pas le sentiment que je pourrai faire quoi que ce soit tout seul si on s'écarte un tant soi peu d'un cas d'école...

1 Réponse

+1 vote
par Vétéran du GPU 🐋 (68.8k points)
sélectionné par
 
Meilleure réponse
La reproductibilité en IA est très difficile à atteindre. Il faut s'assurer que les générateurs aléatoires soient tous fixés (ce qui ne devait pas être le cas dans l'exemple).

Pour faire progresser son modèle et aller dans la bonne direction il faut faire des expériences. Evidemment ces expériences doivent se limiter au maximum à de la pur exploration (dans certains, on n'aura pas d'autres solutions). Pour se faire on va partir des résultats de nos pairs, de notre intuition (mathématique, logique, physique, etc) qui vont nous permettre d'espérer un résultat prédictible.

Votre ressenti est tout à fait normal arrivé à ce stade de fidle. Nous souhaitons faire un large tour d'horizon du deep learning, ce qui nous empêche de pouvoir s'éloigner du "classique".

"LA" méthodologie n'existe pas car chaque datasets et applications peuvent nécessiter des solutions très différentes qui obligent des approches tout aussi différentes. Réaliser un état de l'art/biblio sur ce que vous souhaitez faire sera la meilleure piste pour avancer sur votre objectif.

Bien comprendre les cas d'écoles et être capable de les reproduire est déjà une grosse étape de franchie.
...