Quelle Architecture Transformer adaptée

Question

Bjr,

Si j'ai des images 64x64x5 dont je veux predire une propriété scalaire R+. Quelle architecture de Transformer deja pre-entrainee serait la plus judicieuse a  essayer en premier lieu? Merci

Answer 1

ViT ou sa version pimpée, SwinTransformer

Answer 2

Bonjour,

Il est important de bien faire la différence entre le choix de l’architecture du Transformer et le choix du modèle pré-entraîné. Je suppose que vous voulez utiliser un modèle déjà pré-entraîné sur une tâche précise (donc choisir un modèle pré-entraîné), si ce n’est pas le cas faites le moi savoir. Le choix du modèle pré-entraîné se fait par rapport au type de données (type d’image dans votre cas). Il faudrait donc trouver un modèle déjà entraîné sur des images de même type, vu les dimensions j’imagine que ce n’est pas des images "ordinaires" donc ça va être compliqué de trouver le bon modèle.

Quel type d’images utilisez-vous ? Et pour quelle tâche ?
Vous trouverez peut-être votre bonheur ici (mais j’en doute) : https://huggingface.co/models

Comments

Les "images" sont en effet des images de galaxies en astro, en 5 filtres, 64x64 pixels dont les pixels values sont des floatants  postifs et negatifs (cf. images calibrées avec soustractions de bruits de fond par ex...) et la tache en est d'extraire une information sur la galaxie imagées.
Il existe des CNNs qui font cela bien entendu, mais je voulais tester un transformer....

---

Après une rapide recherche sur Google j'ai peut-être trouvé quelque chose d'intéressant (attention les images sont avec seulement 3 filtres) : https://ml4physicalsciences.github.io/2021/files/NeurIPS_ML4PS_2021_123.pdf
Il semblerait que le modèle soit open source. Je n'ai cependant pas poussé mes recherches, vous devriez donc faire quelques recherches de votre côté.

---

Bjr,
Je me demandais si je ne trouve que des modeles a 3 filtres (typiqueme RGB) comment devrai-je procéder pour faire rentrer mes 5 filtres?
Merci

---

Pour faire "rentrer" vos images c'est assez simple, il faudra juste modifier le pre-processing (transforme l'image en séquence de vecteurs) pour qu'il prenne en compte les images à 5 filtres (c'est assez facile avec un modèle type ViT).
Par contre, ce n'est pas sûr que c'est une bonne stratégie car le modèle a été entraîné avec des images 3 filtres donc il aura du mal à faire le lien entre les 5 différents filtres.