Dans ce TP sur les panneaux, effectivement il n'y a pas beaucoup de différence parce que juste les formes suffisent pour différentier les panneaux.
La descente de gradient est l'élément qui s'occupe de la "sélection" des features de forme car plus important que celles des couleurs.
On pourrait effectivement forcer le modèle à plus prendre en compte les couleurs : plus explicable pour l'humain mais moins performant d'un point de vue modèle.
Attention, ceci est valable pour cette exemple mais n'est pas la généralité. Sur un modèle de catégorisation d'espèce de fruit, l'analyse de la couleur va être plus important car c'est une feature qui permet de séparer des catégories.