Transformer-embedding fine tuning

Question

Bonjour,

Si on souhaite fine tuner un modèle comportant des transformers, est-ce que l'embedding doit être le même (ce qui serait logique) ou peut-on en utiliser un autre (plus ou moins différent) ?

Merci :)

Answer 1

Vous avez le droit de tout faire. Mais en pratique on freeze l'embedding pendant le finetuning, je crois pour des raisons d'économie, je crois.

L'apport de le fine-tuner l'embedding n'apporte pas grand chose la plupart du temps!!

Comments

Peut-être intéressant pour l'étude de l'ADN ? Le code génétique pouvant être variable d'une espèce à l'autre tout en gardant les mêmes éléments.

---

je confirme l'intérêt économique sur performance supplémentaire faible possible