Taille Kernel

Question

Est-ce que la taille du Kernel peut résulter d'un apprentissage ?

Answer 1

À ma connaissance, la taille du kernel ne varie pas pendant l'apprentissage. La taille est fixée lorsque tu définis l'architecture

Answer 2

On peut le traiter comme un hyperparamètre

Answer 3

Non et oui.

Généralement, la taille du kernel est choisie et correspond à l'architecture de notre réseau. Néanmoins, dans du méta-learning, notre modèle va lui aussi évoluer avec l'apprentissage et donc dans ce cas les tailles des kernels vont changer.

Answer 4

Quand on parle d'apprentissage de réseaux de neurones, on utilise des méthodes de descente de gradient pour trouver les paramètres, malheureusement on n'est pas capable d'utiliser la descente de gradient pour trouver la taille. Du coup, la recherche de la taille optimal du kernel est considéré comme de l'optimisation d'hyper-paramètres : ie. on va entrainer plusieurs réseaux de neurones avec différents valeurs de taille du kernel et on retiendra la meilleure valeur.

Comments

AHAH algorithmes génétiques go brrrrrrrrrrrrrr

---

Grid search pour les brutes qui ont de la thune et du temps