Puissance de 2

Question

Est-ce que pour un RNN c'est important d'avoir des puissances de 2 aussi ? Par exemple pour un LSTM le nombre de hidden_size doit être une puissance de 2 ?

Answer 1

C'est une convention chez les informaticiens, et ça peut être avantageux en temps de calcul car on remplit la mémoire du hardware (qui fonctionne en puissance de 2). mais sinon en dehors de ça, ça n'est pas quelque chose d'important. C'est aussi une habitude qu'on prend ^^

Comments

D'accord, merci :-)

---

Concernant l'habitude, effectivement avec le temps on utilise toujours des puissances de 2. En plus de maximiser la performance du hardware, cela permet de comparer différents réseaux plus facilement.

Answer 2

ou par exemple pour des raisons hardwares on aime bien les multiples de 8.