0 votes
par dans Séquence 5 : TP
Bonjour,

À 1h35 il est précisé que la taille du vecteur à l'étape 6 est la taille du dictionnaire, 10000. De quel dictionnaire parlez-vous, car à l'étape 4.2 le dictionnaire chargé est de 88588 mots (avec les tags 0 à 3) ? En 7.1 le nombre de paramètres de la 1re couche dense est 160032, soit 10000*16+32. Pourquoi n'y a-t-il que 16*10000 poids pour 32 biais et 32 neurones ? Merci.

1 Réponse

0 votes
par Vétéran du GPU 🐋 (20.4k points)
sélectionné par
 
Meilleure réponse
Je pense qu’il y a plusieurs confusion. À l’étape 4.2, on parle de dictionnaire global, c’est le nombre de mots différents dans notre dataset (c’est vrai que l’utilisation du mot dictionnaire ici peut porter à confusion). Nous n’allons pas utiliser tous les mots présents dans notre dictionnaire car ce ne serait pas efficace donc on choisit une limite de mots et on prendra tous les mots les plus fréquents contenus dans cette limite. Dans le tp, la limite choisie est représentée par la variable vocab_size qui vaut 5 000 si vous n’y avez pas touché.
Ensuite à l’étape 6, il y a une confusion avec la valeur par défaut (10 000) de la fonction one_hot_encoder et la valeur vraiment utilisée (vocab_size qui est égale à 5 000).
Enfin pour le calcul des poids, il faut bien prendre en compte que l’on parle des “liens” entre les différents neurones de 2 couches (on peut considérer les neurones comme les entrée et les sortie d’une fonction, là ou les liens seraient les paramètres de cette fonction). Dans notre cas, l’entrée est un vecteur de taille 5 000 (la taille du one hot encoder) et la sortie de taille 32 (les neurones de la couche suivantes) donc le nombre de poids (le nombre de paramètre de la couche) est égale à 5000*32 + 32 (le +32 étant les biais), ce qui nous donne bien 160 032.
par
Bonjour, Merci pour cette explication détaillée. Effectivement il y avait plusieurs confusions de ma part mais je n'avais pas compris le 10000 de l'étape 6, qui est d'ailleurs écrasé à l'étape 7.1 puisque vector_size=vocab_size. C'est tout bon maintenant, mes neurones sont recalés :-)
...